Sachverhalt:
A.
Gegen A._ läuft ein Strafverfahren wegen Raufhandel und anderer Delikte. Nachdem die Staatsanwaltschaft Zürich-Sihl beim Einzelgericht Anklage erhoben hatte, überwies dieses die Sache am 8. September 2015 ans Kollegialgericht des Bezirksgerichts Zürich. An der Hauptverhandlung vom 12. Juli 2016 stellte A._ ein Ausstandsgesuch gegen den vorsitzenden Richter Thomas Kläusli. Das Bezirksgericht übermittelte das Gesuch zusammen mit einer Stellungnahme von Richter Kläusli ans Obergericht des Kantons Zürich. A._ wurde Gelegenheit zur Stellungnahme gegeben, worauf er zusätzlich den Antrag stellte, es sei festzustellen, dass das erstinstanzliche Gericht nicht gemäss Art. 335 Abs. 1 StPO gehörig zusammengesetzt gewesen und damit der Anspruch auf den gesetzlichen Richter (Art. 30 Abs. 1 BV, Art. 6 Ziff. 1 EMRK) verletzt worden sei.
Das Obergericht hielt mit Beschluss vom 6. September 2016 fest, das Ausstandsgesuch sei offensichtlich verspätet gestellt worden, weshalb darauf nicht einzutreten sei. Auch auf das Feststellungsbegehren betreffend die gehörige Zusammensetzung des Bezirksgerichts sei nicht einzutreten, da es über den Prozessgegenstand hinausgehe. Dieser umfasse ausschliesslich die Ausstandsfrage.
B.
Mit Beschwerde in Strafsachen ans Bundesgericht vom 12. Oktober 2016 beantragt A._, Ziff. 1 (Ausstandsgesuch), Ziff. 2 (Feststellungsbegehren) und Ziff. 3 (Auferlegung der Gerichtskosten) des Beschlussdispositivs des Obergerichts seien aufzuheben. Die Sache sei zur materiellen Beurteilung an die Vorinstanz zurückzuweisen.
Das Obergericht und Richter Kläusli haben auf eine Stellungnahme verzichtet. Das Bezirksgericht hat sich nicht vernehmen lassen.
Erwägungen:
1.
1.1. Beim angefochtenen Urteil handelt es sich um einen kantonal letztinstanzlichen Entscheid in einer Strafsache (Art. 78 Abs. 1 und Art. 80 BGG i.V.m. Art. 59 Abs. 1 StPO). Gemäss Art. 92 Abs. 1 BGG ist gegen selbständig eröffnete Vor- und Zwischenentscheide über die Zuständigkeit und über Ausstandsbegehren die Beschwerde zulässig. Der Begriff des Ausstands im Sinne dieser Bestimmung ist weit zu verstehen. Darunter fallen auch andere Zwischenentscheide über die Zusammensetzung der entscheidenden Behörde. Es handelt sich dabei um gerichtsorganisatorische Fragen, die endgültig entschieden werden sollen, bevor das Verfahren fortgesetzt wird (Urteil 1B_311/2016 vom 10. Oktober 2016 E. 1 mit Hinweisen). Der Beschwerdeführer ist gemäss Art. 81 Abs. 1 BGG zur Beschwerde befugt. Auf sein Rechtsmittel ist einzutreten.
1.2. Streitgegenstand ist einzig, ob das Obergericht zu Recht nicht auf das Ausstandsgesuch und das Feststellungsbegehren eingetreten ist (vgl. BGE 135 II 38 E. 1.2 S. 41). Hinsichtlich des Feststellungsbegehrens hielt das Obergericht fest, dieses könne nicht im Rahmen einer Stellungnahme in einem gegen Richter Kläusli geführten Ausstandsverfahren vorgebracht werden. Prozessgegenstand sei einzig das vom Bezirksgericht Zürich überwiesene Ausstandsgesuch. Der Beschwerdeführer setzt sich mit diesen Ausführungen nicht auseinander und legt stattdessen dar, weshalb der Wechsel in der Besetzung des Bezirksgerichts seiner Auffassung nach Art. 30 Abs. 1 BV verletzt. Die Beschwerde genügt in dieser Hinsicht der Begründungsobliegenheit von Art. 42 Abs. 2 BGG nicht. Auch aus dem Hinweis des Beschwerdeführers, er habe den Mangel beim Abfassen der Stellungnahme bemerkt, geht nicht hervor, weshalb der angefochtene Entscheid gegen Bundesrecht verstösst. Darauf ist nicht einzutreten.
2.
2.1. Dass das Obergericht nicht auf das Ausstandsbegehren eintrat, begründete es mit dessen verspäteter Geltendmachung. Der Beschwerdeführer habe seit Erhalt der Vorladung vom 14. Oktober 2015 gewusst, dass Richter Kläusli als Vorsitzender an der Hauptverhandlung mitwirken werde. Solange dem Beschwerdeführer keine Änderung mitgeteilt werde, habe er von der angekündigten Besetzung auszugehen. Daran ändere nichts, dass die Referentin in der Besetzung mehrfach wechselte.
2.2. Der Beschwerdeführer bringt dagegen vor, ein Ausstandsgrund könne erst bei tatsächlicher Kenntnis geltend gemacht werden. Das Bezirksgericht schreibe jedoch in all seinen Vorladungen, dass Änderungen in der Gerichtsbesetzung vorbehalten seien. So seien denn auch die Referentin und die Gerichtsschreiberin mehrfach ausgewechselt worden. Unter diesen Umständen habe er nicht damit rechnen müssen, dass Richter Kläusli tatsächlich den Vorsitz führen werde. Erst an der Hauptverhandlung habe er sich ein Bild davon machen können, in welcher Besetzung das Gericht tage. Daraufhin habe er unverzüglich ein Ausstandsgesuch gestellt. Im Übrigen stelle sich auch die Frage, ob ein Befangenheitsgrund nicht ohnehin analog der Nichtigkeit jederzeit sollte geltend gemacht werden können.
2.3. Gemäss Art. 58 Abs. 1 StPO hat die Partei, die den Ausstand einer in einer Strafbehörde tätigen Person verlangt, der Verfahrensleitung ohne Verzug ein entsprechendes Gesuch zu stellen, sobald sie vom Ausstandsgrund Kenntnis hat; die den Ausstand begründenden Tatsachen sind glaubhaft zu machen. Nach der Rechtsprechung ist der Ausstand in den nächsten Tagen nach Kenntnisnahme zu verlangen. Andernfalls verwirkt der Anspruch. Ein Gesuch, das sechs bis sieben Tage nach Kenntnis des Ausstandsgrunds eingereicht wird, gilt als rechtzeitig. Unzulässig ist hingegen ein Zuwarten während zwei oder drei Wochen (zum Ganzen: Urteil 1B_100/2015 vom 8. Juni 2015 E. 4.1 mit Hinweisen).
2.4. Dem Beschwerdeführer wurde mit Verfügung vom 14. Oktober 2015 mitgeteilt, dass Richter Kläusli an der Hauptverhandlung den Vorsitz führe. Die Erklärung, dass die Besetzung noch ändern könnte, durfte ihn nicht davon abhalten, einen allfälligen Ausstandsgrund unverzüglich geltend zu machen. Selbstredend kann sich ein derartiger Vorbehalt nur auf eine Änderung in der Besetzung aus sachlichen Gründen beziehen, welche nach Art. 30 Abs. 1 BV unabhängig davon zulässig ist, ob vorgängig auf eine solche Möglichkeit hingewiesen wurde. Die in Art. 331 Abs. 1 StPO vorgesehene Mitteilung, in welcher Zusammensetzung das Gericht tagen wird, bezweckt, den Parteien rechtzeitig die Möglichkeit von Befangenheitsanträgen zu geben und damit einen reibungslosen Ablauf der Verhandlung zu gewährleisten. Dieser Zweck würde unterlaufen, wenn ein Ausstandsgrund erst am Tag der Verhandlung geltend gemacht werden könnte. Dass vorliegend die Referentin und der Gerichtsschreiber mehrmals ausgewechselt wurden, ändert daran nichts. Es ist deshalb nicht zu beanstanden, wenn die Vorinstanz den Anspruch des Beschwerdeführers, gegen Richter Kläusli einen Ausstandsgrund geltend zu machen, als verwirkt ansah.
3.
Die Beschwerde ist aus diesen Gründen abzuweisen, soweit darauf einzutreten ist.
Der Beschwerdeführer stellt ein Gesuch um unentgeltliche Rechtspflege. Da sich sein Rechtsbegehren als aussichtslos erweist, ist das Gesuch abzuweisen. Er trägt deshalb die Gerichtskosten (Art. 66 Abs. 1 BGG) und hat keinen Anspruch auf eine Parteientschädigung (Art. 68 Abs. 1 und 2 BGG)
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
4.
Es wird keine Parteientschädigung zugesprochen.
5.
Dieses Urteil wird den Parteien, dem Bezirksgericht Zürich, 3. Abteilung, und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 25. November 2016
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Dold