Sachverhalt:
A.
Am 12. Dezember 2018 folgten Ladendetektive des Warenhauses Manor in Zürich A._ und hielten ihn zur Kontrolle auf der Strasse an. Die Polizisten B._ und C._, die zu jener Zeit im Rahmen der Aktion "Christmas" die Ladendetektive unterstützten, traten hinzu und führten A._ ins Büro des Sicherheitsdienstes von Manor, wo sie ihn schliesslich verhafteten. In der Folge wurde ein Verfahren wegen Beschimpfung (<ref-law>) und Gewalt und Drohung gegen Behörden und Beamte (<ref-law>) eröffnet. Am 24. Mai 2019 sprach die Staatsanwaltschaft A._ mit Strafbefehl wegen Beschimpfung schuldig und verurteilte ihn zu einer Geldstrafe von 20 Tagessätzen zu Fr. 30.-- und einer Busse. Der Vollzug der Geldstrafe wurde unter Ansetzung einer Probezeit von zwei Jahren aufgeschoben, die ausgestandene Haft von zwei Tagen wurde angerechnet. Am 27. Mai 2019 erliess die Staatsanwaltschaft in Bezug auf den Vorwurf der Gewalt und Drohung gegen Behörden und Beamte eine Einstellungsverfügung. Gegen den Strafbefehl erhob A._ Einsprache.
Mit einer Eingabe an die Staatsanwaltschaft Zürich-Limmat vom 15. März 2019 und anlässlich eines späteren Telefongesprächs machte A._ geltend, die an der Verhaftung vom 12. Dezember 2018 beteiligten Polizisten B._ und C._ hätten ihre Amtsbefugnisse überschritten und seinen Pullover sowie seine Sonnenbrille beschädigt.
Die Staatsanwaltschaft überwies die Sache via die Oberstaatsanwaltschaft zum Entscheid über die Ermächtigung zur Eröffnung einer Strafuntersuchung dem Obergericht des Kantons Zürich. Mit Beschluss vom 24. Dezember 2019 verweigerte dieses die Ermächtigung. Es bestünden keine hinreichenden Anhaltspunkte für ein strafbares Verhalten. Bezüglich des Vorwurfs der Tätlichkeiten gemäss <ref-law> und der Sachbeschädigung gemäss <ref-law> sei das Strafantragsrecht erloschen.
B.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht vom 31. Januar 2020 beantragt A._, der Beschluss des Obergerichts sei aufzuheben und der Staatsanwaltschaft sei die Ermächtigung zur Eröffnung einer Strafuntersuchung zu erteilen.
Das Obergericht und die Oberstaatsanwaltschaft haben auf eine Stellungnahme verzichtet. Die Staatsanwaltschaft beantragt die Abweisung der Beschwerde.

Erwägungen:
1.
Die Ermächtigung zur Strafverfolgung stellt eine Prozessvoraussetzung für das Strafverfahren dar, wird jedoch in einem davon getrennten Verwaltungsverfahren erteilt. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist deshalb das zutreffende Rechtsmittel (<ref-ruling> E. 1.3.1 S. 272 mit Hinweisen).
Angefochten ist ein Entscheid einer letzten kantonalen Instanz, der das Verfahren abschliesst (Art. 86 Abs. 1 lit. d und Art. 90 BGG). Eine Ausnahme von der Zulässigkeit der Beschwerde nach <ref-law> besteht nicht. Lit. e dieser Bestimmung, wonach Entscheide über die Verweigerung der Ermächtigung zur Strafverfolgung von Behördenmitgliedern oder von Bundespersonal von der Beschwerdemöglichkeit ausgenommen sind, ist nur auf die obersten Vollziehungs- und Gerichtsbehörden anwendbar, denn nur bei diesen dürfen politische Gesichtspunkte in den Entscheid einfliessen (<ref-ruling> E. 1.3.2 S. 272 f. mit Hinweis). Die Beschwerdegegner fallen nicht in diese Kategorie.
Der Beschwerdeführer hat am Verfahren vor der Vorinstanz teilgenommen. Er ist von den behaupteten Straftatbeständen potenziell direkt betroffen. Dies gilt nicht nur für die Straftatbestände der Nötigung (<ref-law>), der Freiheitsberaubung (<ref-law>), der Tätlichkeiten (<ref-law>) und der (geringfügigen) Sachbeschädigung (Art. 144 Abs. 1 i.V.m. <ref-law>), sondern auch für den Straftatbestand des Amtsmissbrauchs gemäss <ref-law>. Dieser schützt sowohl den Staat als auch die betroffene Person (Urteil 1C_395/2018 vom 21. Mai 2019 E. 1.2 mit Hinweis). Der Beschwerdeführer ist somit nach <ref-law> zur Beschwerde berechtigt.
2.
2.1. Nach <ref-law> sind die Strafbehörden verpflichtet, im Rahmen ihrer Zuständigkeit ein Verfahren einzuleiten und durchzuführen, wenn ihnen Straftaten oder auf Straftaten hinweisende Verdachtsgründe bekannt werden. Gemäss <ref-law> können die Kantone allerdings vorsehen, dass die Strafverfolgung der Mitglieder ihrer Vollziehungs- und Gerichtsbehörden wegen im Amt begangener Verbrechen oder Vergehen von der Ermächtigung einer nicht richterlichen oder richterlichen Behörde abhängt. Diese Möglichkeit steht den Kantonen für sämtliche Mitglieder ihrer Vollziehungs- und Gerichtsbehörden offen. Dazu gehören auch Gemeindeangestellte und somit auch die Beschwerdegegner als Polizisten der Stadtpolizei Zürich (<ref-ruling> E. 2.7 S. 278 ff. mit Hinweisen). Die kantonalgesetzliche Grundlage für das Ermächtigungsverfahren ist § 148 des Gesetzes des Kantons Zürich vom 10. Mai 2010 über die Gerichts- und Behördenorganisation im Zivil- und Strafprozess (GOG; LS 211.1).
2.2. Das Ermächtigungserfordernis soll namentlich dem Zweck dienen, Behördenmitglieder und Beamte vor mutwilliger Strafverfolgung zu schützen und damit das reibungslose Funktionieren staatlicher Organe sicherzustellen. Ein Strafverfahren soll erst durchgeführt werden können, wenn die zuständige Behörde vorher ihre Zustimmung erteilt hat. Der förmliche Entscheid über die Eröffnung oder die Nichtanhandnahme obliegt kraft ausdrücklicher bundesrechtlicher Regelung der Staatsanwaltschaft (Art. 309 und 310 StPO; <ref-ruling> E. 2.3 S. 277).
2.3. Im Ermächtigungsverfahren dürfen - ausser bei obersten Vollziehungs- und Gerichtsbehörden - nur strafrechtliche Gesichtspunkte berücksichtigt werden (<ref-ruling> E. 2.4 S. 277 f. mit Hinweis). Allerdings begründet nicht jeder behördliche Fehler die Pflicht zur Ermächtigungserteilung. Erforderlich ist vielmehr ein Mindestmass an Hinweisen auf ein strafrechtlich relevantes Verhalten; ein solches muss in minimaler Weise glaubhaft erscheinen. In Zweifelsfällen ist die Ermächtigung zu erteilen; es gilt der Grundsatz "in dubio pro duriore". Ist zum Zeitpunkt des Ermächtigungsentscheids die Sach- oder Rechtslage nicht von vornherein klar, darf die zuständige Behörde die Ermächtigung zur Strafverfolgung nicht mit der Begründung verweigern, es fehle an einem hinreichenden Tatverdacht (zum Ganzen: Urteil 1C_395/2018 vom 21. Mai 2019 E. 2 mit Hinweisen).
3.
3.1. Das Obergericht unterschied zwischen drei Anzeigesachverhalten, erstens das Verbringen des Beschwerdeführers durch die Beschwerdegegner in einen Raum des Sicherheitspersonals eines Warenhauses, zweitens das dabei erfolgte Stossen des Beschwerdeführers durch den Beschwerdegegner 1 und drittens die im genannten Raum erfolgte gewaltsame Verhaftung. In dieser Hinsicht ist gestützt auf die Rügen des Beschwerdeführers zu prüfen, ob minimale Hinweise auf ein strafrechtlich relevantes Verhalten existieren.
3.2. Diese Prüfung beschränkt sich allerdings auf Verbrechen und Vergehen. Eine Ausdehnung des mit dem Ermächtigungsverfahren verbundenen Strafverfolgungsprivilegs auf Übertretungen widerspricht dem insoweit klaren Wortlaut von <ref-law> (Urteil 1C_587/2015 vom 10. März 2016 E. 3.5 mit Hinweisen). Der Beschwerdeführer bringt zu Recht vor, das Obergericht habe die genannte Bestimmung verletzt, indem es die Vorwürfe der Tätlichkeiten und der geringfügigen Sachbeschädigung dem Ermächtigungsvorbehalt unterworfen habe. Es handelt sich bei diesen Tatbeständen um Übertretungen (<ref-law>), weshalb es der Staatsanwaltschaft obliegt zu entscheiden, ob eine Untersuchung zu eröffnen ist. Die Beschwerde ist in dieser Hinsicht gutzuheissen.
4.
4.1. Zum Sachverhalt 1 macht der Beschwerdeführer geltend, er habe Anzeige wegen Amtsmissbrauch, Nötigung und eventuell Freiheitsberaubung erstattet, weil es den strafprozessualen Vorschriften über die polizeiliche Anhaltung (<ref-law>) widerspreche, eine Person gegen ihren Willen in die nicht öffentlich zugänglichen Räume eines privaten Sicherheitsdienstes statt auf den Polizeiposten zu bringen. Mangels einer gesetzlichen Grundlage für dieses Vorgehen fehle ein Rechtfertigungsgrund (<ref-law>).
4.2. Das Obergericht hält fest, die Beschwerdegegner seien aufgrund ihrer Beobachtungen, nämlich der Verfolgung des Beschwerdeführers durch die Ladendetektive und seine Weigerung, sie zur Klärung des Sachverhalts in deren Büro im Untergeschoss des Warenhauses zu begleiten, gestützt auf <ref-law> befugt gewesen, den Beschwerdeführer anzuhalten und auf den Polizeiposten zu bringen um abzuklären, ob er eine Straftat begangen habe. Es sei auch zulässig, diese Abklärungen im Umfeld des Tatorts durchzuführen, weshalb das Verbringen des Beschwerdeführers in das besagte Büro keinen deliktsrelevanten Verdacht begründe.
4.3. Eine Nötigung im Sinne von <ref-law> begeht, wer jemanden durch Gewalt oder Androhung ernstlicher Nachteile oder durch andere Beschränkung seiner Handlungsfreiheit nötigt, etwas zu tun, zu unterlassen oder zu dulden. Eine Nötigung ist nur unrechtmässig, wenn das Mittel oder der Zweck unerlaubt ist, wenn das Mittel zum erstrebten Zweck nicht im richtigen Verhältnis steht oder wenn die Verknüpfung zwischen einem an sich zulässigen Mittel und einem erlaubten Zweck rechtsmissbräuchlich oder sittenwidrig ist (<ref-ruling> E. 3.2.1 S. 441 mit Hinweisen). Eine Freiheitsberaubung im Sinne von <ref-law> begeht, wer jemanden unrechtmässig festnimmt oder gefangen hält oder jemandem in anderer Weise unrechtmässig die Freiheit entzieht. Der Straftatbestand des Amtsmissbrauchs gemäss <ref-law> setzt voraus, dass Mitglieder einer Behörde oder Beamte ihre Amtsgewalt missbrauchen, um sich oder einem andern einen unrechtmässigen Vorteil zu verschaffen oder einem andern einen Nachteil zuzufügen.
Gemäss <ref-law> verhält sich rechtmässig, wer handelt, wie es das Gesetz gebietet oder erlaubt, auch wenn die Tat nach diesem oder einem anderen Gesetz mit Strafe bedroht ist. Nach <ref-law> kann die Polizei im Interesse der Aufklärung einer Straftat eine Person anhalten und wenn nötig auf den Polizeiposten bringen, um ihre Identität festzustellen (lit. a), sie kurz zu befragen (lit. b) und um abzuklären, ob sie eine Straftat begangen hat (lit. c).
Die Auffassung des Obergerichts, es sei zulässig, die Abklärung, ob jemand eine Straftat begangen habe, im Umfeld des Tatorts durchzuführen, wird von ALBERTINI und ARMBRUSTER gestützt. Die Autoren führen aus, dies könne im Interesse der Aufklärung der Straftat geschehen (ALBERTINI/ARMBRUSTER, Basler Kommentar, Schweizerische Strafprozessordnung, 2. Aufl., 2014, N. 21 zu <ref-law>). Zu ergänzen ist, dass es je nach Umständen auch für den Betroffenen weniger einschneidend und damit verhältnismässiger sein kann, die erforderlichen Abklärungen in nahe gelegenen Räumlichkeiten durchzuführen statt auf der Strasse unter den Augen der Passanten oder auf einem weiter entfernten Polizeiposten. Dies trifft hier zu.
Gestützt auf die vorinstanzlichen Sachverhaltsfeststellungen übten die Beschwerdegegner ihre Machtbefugnisse somit nicht pflichtwidrig aus. Sie handelten auch insofern verhältnismässig, als sie darauf verzichteten, dem vermeintlichen Ladendieb Handfesseln anzulegen, wie dem angefochtenen Entscheid ebenfalls zu entnehmen ist. Damit fehlt es an der Unrechtmässigkeit der Nötigung (<ref-law>) bzw. des Freiheitsentzugs (<ref-law>) und es liegt auch kein Missbrauch der Amtsgewalt vor (<ref-law>). Darüber hinaus ist auch nicht erkennbar, dass die Beschwerdegegner die Absicht gehabt hätten, dem Beschwerdeführer einen Nachteil zuzufügen, wie dies der Tatbestand des Amtsmissbrauchs voraussetzen würde. Das Obergericht durfte deshalb die Ermächtigung in dieser Hinsicht verweigern, ohne Bundesrecht zu verletzen.
5.
5.1. Zum Sachverhalt 2 führt das Obergericht aus, auf den in den Akten befindlichen Aufzeichnungen aus der Videoüberwachung des Warenhauses sei zu erkennen, dass der Beschwerdeführer den Raum des Sicherheitspersonals betrete, sich dann aber sogleich umdrehe und einen Schritt zurück in Richtung des Türrahmens mache. Er gestikuliere mit den Händen und mache mit der linken Hand plötzlich eine schnelle Bewegung nach vorne in Richtung des unmittelbar vor ihm stehenden Beschwerdegegners 1, worauf er von diesem mit beiden Händen im Brustbereich gestossen werde und zwei Schritte rückwärts in den Raum mache. Aufgrund der Bewegung des Beschwerdeführers sei zu erkennen, dass es sich nicht um einen starken Stoss gehandelt habe, denn es habe kein Gleichgewichtsverlust bzw. Sturz gedroht. Unter Berücksichtigung der Tatsache, dass der Beschwerdeführer während des Gestikulierens eine schnelle Bewegung nach vorne in Richtung des unmittelbar vor ihm stehenden und sich im Türrahmen befindenden Beschwerdegegners 1 gemacht habe, sei dessen reflexartige Reaktion weder als unzulässiges noch als unverhältnismässiges Mittel und damit nicht als Amtsmissbrauch zu qualifizieren. Eine Androhung des unmittelbar ausgeübten Zwangs sei unter diesen Voraussetzungen nicht geboten gewesen (§ 14 Abs. 2 lit. a des kantonalen Polizeigesetzes vom 23. April 2007 [PolG; LS 550.1]).
5.2. Der Beschwerdeführer rügt eine offensichtlich unzutreffende Sachverhaltsfeststellung (<ref-law>). Seine Bewegung mit der linken Hand sei lediglich eine Reaktion auf eine Berührung seines Kinns durch eine fremde Hand gewesen. Auf der Videoaufzeichnung sei zudem nicht erkennbar, welche Person unmittelbar vor ihm gestanden habe. Die Feststellung, dass die Reaktion des Beschwerdegegners 1 reflexartig gewesen sei, sei rein spekulativ. Die Videoaufzeichnung lasse schliesslich auch nicht erkennen, dass sich der Beschwerdegegner 1 zur Eigensicherung nicht habe optimal positionieren können, wie er geltend gemacht habe. Vor diesem Hintergrund bestünden hinreichende Anhaltspunkte für einen Amtsmissbrauch.
5.3. Gemäss <ref-law> kann die Feststellung des Sachverhalts und damit die Beweiswürdigung nur gerügt werden, wenn die Sachverhaltsfeststellung offensichtlich unrichtig - d.h. willkürlich (<ref-law>) - ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann. Bei der Rüge der offensichtlich unrichtigen Sachverhaltsfeststellung gilt das strenge Rügeprinzip (<ref-law>). Das Bundesgericht prüft in diesem Fall nur klar und detailliert erhobene und, soweit möglich, belegte Rügen; auf rein appellatorische Kritik am angefochtenen Entscheid tritt es nicht ein.
Die Sachverhaltsfeststellung bzw. Beweiswürdigung erweist sich als willkürlich (<ref-law>), wenn das Gericht Sinn und Tragweite eines Beweismittels offensichtlich verkannt hat, wenn es ohne sachlichen Grund ein wichtiges und entscheidwesentliches Beweismittel unberücksichtigt gelassen oder wenn es auf der Grundlage der festgestellten Tatsachen unhaltbare Schlussfolgerungen gezogen hat. Dass die von Sachgerichten gezogenen Schlüsse nicht mit der eigenen Darstellung des Beschwerdeführers übereinstimmen, belegt keine Willkür (zum Ganzen: <ref-ruling> E. 2.3 S. 266 mit Hinweisen).
5.4. Die vorinstanzlichen Sachverhaltsfeststellungen lassen keine Willkür erkennen und stehen insbesondere nicht im Widerspruch zu den Videoaufzeichnungen. Zwar ist auf diesen bis zum beanstandeten Stoss nicht erkennbar, wer unmittelbar vor dem Beschwerdeführer steht. Letzterer behauptet jedoch selbst nicht, dass es eine andere Person als der Beschwerdegegner 1 gewesen sei. Dass der Beschwerdegegner 1 erst im Moment des Stosses erkennbar von der Videokamera erfasst wird, lässt die vorinstanzlichen Sachverhaltsfeststellungen jedenfalls nicht als willkürlich erscheinen. Anhaltspunkte für einen Amtsmissbrauch bestehen ebenfalls nicht. Drehte sich der Beschwerdeführer nach dem Betreten des Raums um, bewegte er sich auf den Beschwerdegegner 1 zu und machte er mit der linken Hand plötzlich eine schnelle Bewegung in dessen Richtung, so ist nicht zu beanstanden, dass dieser ihm spontan einen Stoss versetzte, statt selbst zurückzuweichen oder eine möglicherweise gefährliche Nähe zuzulassen. Auf dem Video ist zudem ersichtlich, dass es sich zwar um einen energischen, jedoch nicht um einen heftigen Stoss handelte und dass der Beschwerdeführer deshalb nicht in Gefahr geriet, das Gleichgewicht zu verlieren. Das Vorgehen war damit auch verhältnismässig.
6.
6.1. Zum Sachverhalt 3 hält das Obergericht im Wesentlichen fest, die Videoaufzeichnungen zeigten, wie der Beschwerdeführer nach dem erwähnten Stoss seinen rechten Arm nach hinten ziehe, indem er seinen Ellbogen anwinkle, und zugleich einen Schritt nach vorne in Richtung des Beschwerdegegners 1 mache. Dieser halte seinen rechten Arm schützend vor sein Gesicht, schreite zum Beschwerdeführer, umfasse ihn mit seinem linken Arm und führe ihn zu Boden.
6.2. Der Beschwerdeführer macht geltend, gemäss <ref-law> müsse die Anwendung von Gewalt verhältnismässig sein. Zudem bedürfe es für die vorläufige Festnahme gemäss <ref-law> eines hinreichenden Tatverdachts. Die Staatsanwaltschaft habe allerdings am 27. Mai 2019 in Bezug auf den Vorwurf der Gewalt und Drohung gegen Behörden und Beamte eine Einstellungsverfügung erlassen. Zur Begründung habe sie ausgeführt, dass ein Ausholen oder gar Durchführen eines Faustschlags auf der Videoaufnahme nicht ersichtlich sei, sondern höchstens ein Ballen der rechten Faust. Objektiv betrachtet sei dies noch kein Ansetzen zu einem tätlichen Angriff. Bei dieser Sach- und Rechtslage könne nicht von vornherein ausgeschlossen werden, dass sich die Beschwerdegegner bei der Verhaftung des Amtsmissbrauchs oder der Freiheitsberaubung schuldig gemacht haben könnten.
6.3. Die Einstellungsverfügung der Staatsanwaltschaft bildet hier nicht Verfahrensgegenstand. Massgebend ist zudem im vorliegenden Zusammenhang nicht, ob der Beschwerdeführer die Schwelle zum tatbestandsmässigen Verhalten überschritt, sondern vielmehr, ob die Beschwerdegegner aus ihrer Sicht von einem tätlichen Angriff ausgehen durften. Dies ist zu bejahen. Dem angefochtenen Entscheid ist zu entnehmen, dass der Beschwerdeführer selbst Folgendes ausgesagt hat: "Der Instinkt war da, dass ich ihm eine Faust geben wollte. Man sieht auch, dass ich eine Faust balle". Entsprechend versuchte der Beschwerdegegner 1 gemäss den vorinstanzlichen Ausführungen, sein Gesicht mit dem rechten Arm zu schützen. Gestützt auf diese Umstände ist jedenfalls auszuschliessen, dass die Beschwerdegegner den Beschwerdeführer vorsätzlich unrechtmässig der Freiheit beraubt oder in der Absicht gehandelt hätten, ihm einen Nachteil zuzufügen. Auch in dieser Hinsicht hat das Obergericht die Ermächtigung zu Recht verweigert.
7.
Die Beschwerde ist somit teilweise gutzuheissen und der angefochtene Entscheid insofern aufzuheben, als das Obergericht die Strafverfolgung wegen Übertretungen von seiner Ermächtigung abhängig machte und diese verweigerte. Im Übrigen ist die Beschwerde abzuweisen.
Soweit der Beschwerdeführer obsiegt, trägt er keine Gerichtskosten und hat der Kanton seinem Vertreter eine Entschädigung zu bezahlen (Art. 66 Abs. 1 und Art. 68 Abs. 1 f. BGG). Wie aus den obigen Erwägungen hervorgeht, obsiegt der Beschwerdeführer jedoch nur zu einem geringen Teil, was bei der Bemessung der Entschädigung zu berücksichtigen ist. Im Umfang der Gutheissung der Beschwerde ist sein Gesuch um unentgeltliche Rechtspflege nach <ref-law> gegenstandslos. Soweit er unterliegt, ist sein Gesuch um unentgeltliche Rechtspflege gutzuheissen.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen. Der Beschluss des Obergerichts des Kantons Zürich vom 24. Dezember 2019 wird in Bezug auf die Verweigerung der Ermächtigung zur Strafverfolgung wegen Tätlichkeiten und Sachbeschädigung aufgehoben. Die Sache wird in dieser Hinsicht der Staatsanwaltschaft überwiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird, soweit es nicht gegenstandslos geworden ist, gutgeheissen.
3.
Es werden keine Gerichtskosten erhoben.
4.
Rechtsanwalt Oliver Grundmann wird vom Kanton Zürich mit Fr. 500.-- und aus der Bundesgerichtskasse mit Fr. 1'500.-- entschädigt.
5.
Dieses Urteil wird den Parteien, der Staatsanwaltschaft Zürich-Limmat und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 20. August 2020
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Kneubühler
Der Gerichtsschreiber: Dold