Sachverhalt:
A.
Die Staatsanwaltschaft I des Kantons Zürich führt eine Strafuntersuchung gegen A._ wegen versuchter Anstiftung zur Tötung. Am 9. Juni 2020 stellte A._ ein Ausstandsgesuch gegen die fallführende Staatsanwältin Katrin Baumgartner. Mit Schreiben vom 16. Juni 2020 nahm die Staatsanwältin Stellung und beantragte die Ablehnung des Gesuchs. Sie sei nicht befangen.
Mit Beschluss vom 3. September 2020 hiess das Obergericht des Kantons Zürich das Ausstandsgesuch gut (Dispositiv-Ziffer 1), nahm die Kosten des Ausstandsverfahrens, inklusive die Kosten der amtlichen Verteidigung des Gesuchstellers, auf die Staatskasse (Dispositiv-Ziffer 2) und bestimmte, dass die Höhe der Entschädigung der amtlichen Verteidigung durch die das Strafverfahren abschliessende Behörde festgesetzt werde (Dispositiv-Ziffer 3).
B.
Mit Beschwerde in Strafsachen ans Bundesgericht vom 7. Oktober 2020 beantragt die Oberstaatsanwaltschaft des Kantons Zürich, der Beschluss des Obergerichts sei aufzuheben und das Ausstandsgesuch unter Kostenfolgen zu Lasten von A._ abzuweisen.
Der Beschwerdegegner beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Er stellt zudem ein Gesuch um unentgeltliche Rechtspflege. Das Obergericht hat auf eine Stellungnahme verzichtet, ebenso Staatsanwältin Baumgartner.

Erwägungen:
1.
Beim angefochtenen Urteil handelt es sich um einen selbstständig eröffneten Zwischenentscheid in einer Strafsache (<ref-law>). Dieser betrifft ein Ausstandsbegehren, weshalb die Beschwerde gemäss <ref-law> zulässig ist. Das Obergericht hat als letzte und einzige kantonale Instanz entschieden (<ref-law> i.V.m. <ref-law>).
Zur Beschwerde in Strafsachen ist nach <ref-law> berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen hat oder keine Möglichkeit zur Teilnahme erhalten hat (lit. a: "formelle Beschwer") und ein rechtlich geschütztes Interesse an der Aufhebung oder Änderung des angefochtenen Entscheids hat (lit. b: "materielle Beschwer").
In <ref-law> werden in einer nicht abschliessenden Aufzählung unter anderem die beschuldigte Person (Ziff. 1) und die Staatsanwaltschaft genannt (Ziff. 3). Die Bestimmung ist als "Generalklausel mit Regelbeispielen" konzipiert. Dies bedeutet zum einen, dass die Aufzählung, wie bereits erwähnt, nicht abschliessend ist. Zum andern hat aber auch nicht in jedem Fall ein rechtlich geschütztes Interesse an der Aufhebung oder Änderung eines Entscheids in einer Strafsache, wer in der Aufzählung ausdrücklich genannt ist. Mit anderen Worten verleiht die Bestimmung von <ref-law> nicht selbst das rechtlich geschützte Interesse, welches sie voraussetzt (<ref-ruling> E. 4.2 S. 123 f. mit Hinweisen und Beispielen).
Das rechtlich geschützte Interesse der Staatsanwaltschaft an der Aufhebung oder Änderung des angefochtenen Entscheids leitet sich aus dem staatlichen Strafanspruch ab, den sie zu vertreten hat. Sie ist somit beschwerdebefugt, wenn es um die Durchsetzung des Strafanspruchs als solchem oder um damit zusammenhängende - das heisst, sich auf diesen auswirkende - materiell- und prozessrechtliche Belange geht (<ref-ruling> E. 1.4 S. 39 ff.; Urteil 6B_1314/2016 vom 10. Oktober 2018 E. 1.4.3, nicht publ. in <ref-ruling>; je mit Hinweisen). Zwar ist diese Voraussetzung und damit die materielle Beschwer in der Regel gegeben (Urteil 1B_20/2014 vom 24. Januar 2014 E. 1.2; zu weitgehend insofern die Wortwahl in Urteil 6B_1381/ 2019 vom 13. Oktober 2020 E. 3). Sie kann jedoch nach dem Ausgeführten nicht pauschal bejaht werden und muss im Einzelfall durch die beschwerdeführende Staatsanwaltschaft dargelegt werden, sofern sie nicht offensichtlich gegeben ist (<ref-law>; <ref-ruling> E. 1.3 S. 292 mit Hinweisen).
Im Urteil 1B_20/2014 vom 24. Januar 2014 liess das Bundesgericht die Frage, ob die Staatsanwaltschaft zur Beschwerde in Strafsachen ans Bundesgericht berechtigt ist, wenn ein Staatsanwalt in den Ausstand versetzt wurde, offen (a.a.O., E. 1.2). Daraus geht hervor, dass das rechtlich geschützte Interesse in derartigen Fällen jedenfalls nicht ohne Weiteres generell besteht. Auch im vorliegenden Fall ist nicht ersichtlich, inwiefern der angefochtene Entscheid die Durchsetzung des Strafanspruchs tangiert. Da die Staatsanwaltschaft dies auch nicht ansatzweise darlegt, ist auf ihre Beschwerde nicht einzutreten.
2.
Bei diesem Verfahrensausgang sind keine Gerichtskosten zu erheben (Art. 66 Abs. 1 und 4 BGG). Der Rechtsvertreterin des Beschwerdegegners ist eine angemessene Parteientschädigung zuzusprechen (Art. 68 Abs. 1-2 BGG). Dessen Gesuch um unentgeltliche Rechtspflege wird damit hinfällig.

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Es werden keine Gerichtskosten erhoben.
3.
Der Kanton Zürich hat die Rechtsvertreterin des Beschwerdegegners, Rechtsanwältin Meret Lotter, mit Fr. 2'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien, Katrin Baumgartner, der Staatsanwaltschaft I des Kantons Zürich und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 4. Februar 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: Dold