Sachverhalt:
A.
Die Staatsanwaltschaft I des Kantons Zürich erhob am 22. Dezember 2020 Anklage beim Bezirksgericht Horgen gegen A._ wegen des Verdachts auf Mord und weitere Delikte. Mit Eingabe vom 24. Dezember 2020 stellte der beschuldigte A._ ein Ausstandsbegehren gegen den verfahrensleitenden Staatsanwalt Adrian Kaegi.
B.
Mit Beschluss vom 11. Mai 2021 wies das Bezirksgericht das Ausstandsbegehren als unbegründet ab.
C.
Dagegen erhebt A._ Beschwerde in Strafsachen beim Bundesgericht. Er beantragt, den Beschluss des Bezirksgerichts vom 11. Mai 2021 aufzuheben und Staatsanwalt Adrian Kägi zu verpflichten, in der gegen ihn geführten Strafuntersuchung in den Ausstand zu treten. Allenfalls sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Weiter ersucht er um unentgeltliche Prozessführung und die Bestellung von Rechtsanwalt Johannes Glenck als unentgeltlichen Rechtsbeistand.
Das Bezirksgericht Horgen verzichtet auf eine Stellungnahme. Die Staatsanwaltschaft beantragt die Abweisung der Beschwerde.

Erwägungen:
1.
1.1. Das Bundesgericht prüft seine Zuständigkeit und die Zulässigkeit der Beschwerde von Amtes wegen und mit freier Kognition (<ref-law>; <ref-ruling> E. 1 S. 170 mit Hinweisen). Dabei prüft es auch die formellen Gültigkeitserfordernisse des vorinstanzlichen Verfahrens, insbesondere die Frage, ob das kantonale Gericht zu Recht auf die Beschwerde eingetreten ist. Hat die Vorinstanz übersehen, dass es an einer Prozessvoraussetzung fehlte, und hat sie materiell entschieden, ist dies im Rechtsmittelverfahren von Amtes wegen zu berücksichtigen, mit der Folge, dass der angefochtene Entscheid aufgehoben wird (<ref-ruling> E. 2.1 S. 69; Urteil des Bundesgerichts 2C_820/2014 vom 16. Juni 2017 E. 1.1; je mit Hinweisen).
1.2. Die Beschwerde in Strafsachen ist zulässig gegen Entscheide letzter kantonaler Instanzen und gegen solche des Bundesstrafgerichts (<ref-law>). Die Kantone setzen als letzte kantonale Instanzen obere Gerichte ein, die als Rechtsmittelinstanzen entscheiden (Art. 80 Abs. 2 Satz 1 und 2 BGG). Ausgenommen vom Grundsatz der Doppelinstanzlichkeit im kantonalen Verfahren sind Fälle, in denen nach der Strafprozessordnung ein Zwangsmassnahmengericht oder ein anderes Gericht als einzige kantonale Instanz entscheidet (<ref-law>).
1.3. Beim angefochtenen Beschluss handelt es sich um einen kantonalen, grundsätzlich selbstständig anfechtbaren Zwischenentscheid über den Ausstand im Rahmen eines Strafverfahrens (vgl. Art. 78 und 92 Abs. 1 BGG; <ref-ruling> E. 1).
1.4. Der Beschwerdeführer war als Gesuchsteller am vorinstanzlichen Verfahren beteiligt und ist als solcher sowie als Adressat des angefochtenen Beschlusses zur Beschwerde legitimiert (vgl. <ref-law>).
2.
Fraglich ist, ob das Bezirksgericht für die Prüfung des Ausstandsgesuchs zuständig war.
2.1. Ausgangspunkt der Auslegung ist der Wortlaut der Gesetzesbestimmung (<ref-ruling> E. 2.3.2; <ref-ruling> E. 3.3; <ref-ruling> E. 5.1). Wird wie vorliegend ein Ausstandsgrund nach <ref-law> betreffend die Staatsanwaltschaft geltend gemacht, sieht <ref-law> nach dem klaren Wortlaut vor, dass die Beschwerdeinstanz ("l'autorité de recours"; "la giurisdizione di reclamo") im Sinne von <ref-law> (vgl. <ref-ruling> E. 1.1; HENZELIN/MAEDER MORVANT, in: Commentaire romand, Code de procédure pénale suisse, 2. Aufl. 2019, N. 8 ff. zu <ref-law>; ANDREAS J. KELLER, in: Kommentar zur Schweizerischen Strafprozessordnung [StPO], 3. Aufl. 2020, N. 7 zu <ref-law>) und nicht das Sachgericht entscheidet - ohne weiteres Beweisverfahren und endgültig. Ist der Gesetzeswortlaut wie hier klar (vgl. auch NIKLAUS OBERHOLZER, Grundzüge des Strafprozessrechts, 4. Aufl. 2020, N. 189), kann das Gericht davon nur abweichen, wenn ein triftiger Grund für die Annahme besteht, der Wortlaut ziele am "wahren Sinn" der Regelung vorbei. Anlass für eine solche Annahme können die Entstehungsgeschichte der Bestimmung (historisch), ihr Zweck (teleologisch) oder der Zusammenhang mit anderen Vorschriften (systematisch) geben, so namentlich, wenn die grammatikalische Auslegung zu einem Ergebnis führt, das der Gesetzgeber nicht gewollt haben kann (BGE <ref-ruling> E. 3.3; <ref-ruling> E. 4.3.1; <ref-ruling> E. 6.1; <ref-ruling> E. 4.4.2; je mit Hinweisen).
Besonders wenig Spielraum für eine Abweichung vom klaren Gesetzeswortlaut besteht im Lichte von <ref-law> bei Regelungen betreffend die gerichtliche Zuständigkeitsordnung. Nach dieser Bestimmung hat jede Person, deren Sache in einem gerichtlichen Verfahren beurteilt werden muss, Anspruch auf ein durch Gesetz geschaffenes, zuständiges Gericht. <ref-law> verlangt, dass das Gericht und seine Zuständigkeit generell-abstrakt durch formelles Verfahrensrecht im Voraus bestimmt sind (<ref-ruling> E. 3.3 S. 133 mit Hinweisen). Diese Bestimmung ist verletzt, wenn ein anderes als das im Gesetz vorgesehene Gericht entscheidet, das Gericht also seine Zuständigkeit in Missachtung des Gesetzes bejaht oder verneint (<ref-ruling> E. 3c und d S. 53 ff.; Urteil des Bundesgerichts 1B_126/2012 vom 28. März 2012 E. 2.2.1; je mit Hinweisen).
2.2. Die Vorinstanz begründete ihre Zuständigkeit mit der Rechtsprechung des Obergerichts des Kantons Zürich, wonach die Beschwerdeinstanz für die Behandlung von Ausstandsbegehren gegen die Staatsanwaltschaft nur dann zuständig sein könne, wenn das Verfahren noch vor der Staatsanwaltschaft anhängig sei; insbesondere, da Sinn und Zweck der Zuständigkeitsregel von <ref-law> sei, dass eine andere als die vom Ausstand betroffene Behörde über das Ausstandsgesuch entscheide. Wenn die Sache jedoch beim erstinstanzlichen Gericht - in aller Regel, weil Anklage erhoben wurde - anhängig sei, habe nicht die Beschwerdeinstanz über die gegen die Staatsanwaltschaft geltend gemachten Ausstandsgründe zu entscheiden. Dies gelte jedenfalls dann, wenn sich die Verwirklichung des behaupteten Ausstandsgrunds auf das Stadium des staatsanwaltschaftlichen Verfahrens beziehe. Verwirkliche sich im gerichtlichen Verfahren ein Ausstandsgrund betreffend das Vorverfahren, müsse das Gericht auch von Amtes wegen prüfen, ob Handlungen des vom Ausstandsgrund Betroffenen zu berücksichtigen seien. Es könne dementsprechend nicht Sinn und Zweck der StPO sein, dass die Beschwerdeinstanz über den Ausstand entscheide, zumal diese gegebenenfalls nur das Ausstandsgesuch gutheissen würde, ohne sich zu den prozessualen Folgen zu äussern. Diese Grundsätze würden sowohl für das Berufungsgericht als auch für das erstinstanzliche Gericht gelten, wenn bei ihnen die Sache anhängig sei.
2.3. Diese Einwände mögen begründen, weshalb eine andere als die vorgesehene gerichtliche Zuständigkeitsordnung in der vorliegenden Situation als sachgerechter angesehen werden könnte. Ein triftiger Grund für die Annahme, der Wortlaut von <ref-law> ziele am "wahren Sinn" vorbei, geht daraus nicht hervor.
Die Vorinstanz beruft sich für die Begründung ihrer Zuständigkeit nicht auf die Lehre und es ist auch nicht ersichtlich, dass sie darin eine Stütze finden könnte. Vorweg blendet die Abweichung vom klaren Wortlaut von <ref-law> aus, dass die StPO für Ausstandsgesuche separate Zwischenverfahren vorsieht (vgl. das Urteil des Obergerichts des Kantons Thurgau vom 25. Januar 2018 E. 3bb, in: RBOG 2018 S. 191 f.). Dabei übersieht die Auslegung des Obergerichts des Kantons Zürich, auf die sich das Bezirksgericht Horgen im angefochtenen Entscheid stützt, die institutionelle Bedeutung der in <ref-law> festgelegten Zuständigkeitsordnung. Die Prüfung von Ausstandsgesuchen betreffend die Staatsanwaltschaft gemäss StPO durch die ihr hierarchisch übergeordnete Beschwerdeinstanz soll nämlich auch sicherstellen, dass Ausstandsfragen von einer institutionell möglichst unabhängigen Behörde beurteilt werden. Die Einsetzung der Beschwerdeinstanz soll zudem eine kantonal einheitliche Behandlung solcher Ausstandsgesuche gewährleisten. Neben der mit der Einführung der StPO anvisierten Vereinheitlichung der Verfahren, der Rechtssicherheit und dem klaren Wortlaut von <ref-law> gibt es somit auch materielle Aspekte, die für die gewählte Zuständigkeitsordnung angeführt werden können. Vor diesem Hintergrund ist auch nicht ersichtlich, dass der Gesetzgeber das auf einer grammatikalischen Auslegung gestützte Ergebnis nicht gewollt haben kann.
Die vom Wortlaut von <ref-law> abweichende gerichtliche Zuständigkeit nach der Rechtsprechung des Obergerichts des Kantons Zürich erweist sich als nicht gerechtfertigt und ist demnach unzulässig.
2.4. Das Ausstandsgesuch hätte nach <ref-law> von der Beschwerdeinstanz behandelt werden müssen. Wie das Bezirksgericht im angefochtenen Entscheid bemerkt, wäre daher die III. Strafkammer des Obergerichts des Kantons Zürich vorliegend zuständig gewesen. Der angefochtene Entscheid wurde somit nicht von der gemäss <ref-law> zuständigen Vorinstanz gefasst. Der vorinstanzliche Entscheid ist daher aufzuheben (vgl. E. 1.1).
3.
Die Beschwerde ist demnach gutzuheissen. In derartigen Fällen überweist das Bundesgericht die Beschwerde praxisgemäss der zuständigen kantonalen Behörde, falls sich diese ermitteln lässt (analog <ref-law> i.V.m. <ref-law>; vgl. das Urteil des Bundesgerichts 1C_351/2020 vom 18. März 2021 E. 4 mit Hinweis, zur Publikation vorgesehen). Im Kanton Zürich ist das Obergericht Beschwerdeinstanz gemäss StPO (§ 49 des Gesetzes des Kantons Zürich vom 10. Mai 2010 über die Gerichts- und Behördenorganisation im Zivil- und Strafprozess [GOG/ZH; LS 211.1]), weshalb ihm die Sache zuständigkeitshalber zu überweisen ist.
Angesichts der gesamten Umstände verzichtet das Bundesgericht auf die Erhebung von Gerichtskosten (<ref-law>). Dem Ausgang des bundesgerichtlichen Verfahrens entsprechend erscheint es gerechtfertigt, dem Beschwerdeführer eine Parteientschädigung zulasten des Kantons Zürich zuzusprechen (<ref-law>). Das vom Beschwerdeführer für das bundesgerichtliche Verfahren gestellte Gesuch um unentgeltliche Rechtspflege wird damit gegenstandslos.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen und der Beschluss des Bezirksgerichts Horgen vom 11. Mai 2021 aufgehoben.
2.
Die Sache wird zuständigkeitshalber (zusammen mit den eingegangenen Akten) an das Obergericht des Kantons Zürich zu neuer Entscheidung überwiesen.
3.
Es werden keine Gerichtskosten erhoben.
4.
Der Kanton Zürich hat dem Rechtsvertreter des Beschwerdeführers, Rechtsanwalt Johannes Glenck, für das bundesgerichtliche Verfahren eine Entschädigung von Fr. 1'500.-- zu bezahlen.
5.
Dieses Urteil wird dem Beschwerdeführer, Adrian Kägi, dem Bezirksgericht Horgen sowie dem Obergericht des Kantons Zürich schriftlich mitgeteilt.
Lausanne, 5. November 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: Bisaz