Sachverhalt: A. Gegen A._ läuft ein Strafverfahren wegen Raufhandel und anderer Delikte. Nachdem die Staatsanwaltschaft Zürich-Sihl beim Einzelgericht Anklage erhoben hatte, überwies dieses die Sache am 8. September 2015 ans Kollegialgericht des Bezirksgerichts Zürich. An der Hauptverhandlung vom 12. Juli 2016 stellte A._ ein Ausstandsgesuch gegen den vorsitzenden Richter Thomas Kläusli. Das Bezirksgericht übermittelte das Gesuch zusammen mit einer Stellungnahme von Richter Kläusli ans Obergericht des Kantons Zürich. A._ wurde Gelegenheit zur Stellungnahme gegeben, worauf er zusätzlich den Antrag stellte, es sei festzustellen, dass das erstinstanzliche Gericht nicht gemäss Art. 335 Abs. 1 StPO gehörig zusammengesetzt gewesen und damit der Anspruch auf den gesetzlichen Richter (Art. 30 Abs. 1 BV, Art. 6 Ziff. 1 EMRK) verletzt worden sei. Das Obergericht hielt mit Beschluss vom 6. September 2016 fest, das Ausstandsgesuch sei offensichtlich verspätet gestellt worden, weshalb darauf nicht einzutreten sei. Auch auf das Feststellungsbegehren betreffend die gehörige Zusammensetzung des Bezirksgerichts sei nicht einzutreten, da es über den Prozessgegenstand hinausgehe. Dieser umfasse ausschliesslich die Ausstandsfrage. B. Mit Beschwerde in Strafsachen ans Bundesgericht vom 12. Oktober 2016 beantragt A._, Ziff. 1 (Ausstandsgesuch), Ziff. 2 (Feststellungsbegehren) und Ziff. 3 (Auferlegung der Gerichtskosten) des Beschlussdispositivs des Obergerichts seien aufzuheben. Die Sache sei zur materiellen Beurteilung an die Vorinstanz zurückzuweisen. Das Obergericht und Richter Kläusli haben auf eine Stellungnahme verzichtet. Das Bezirksgericht hat sich nicht vernehmen lassen.