Sachverhalt:
A.
Gegen A._ ist im Kanton Bern ein Strafverfahren hängig. Zu Beginn des Berufungsverfahrens gab ihm das Obergericht des Kantons Bern mit einer vom 9. Juni 2017 datierenden Vorladung die Besetzung des Gerichts mit Oberrichterin Bratschi, Oberrichter Schmid und Oberrichter Aebi bekannt. Daraufhin machte A._ mit Eingabe vom 12. Oktober 2017 geltend, dass er das Gericht in seiner jetzigen Besetzung wegen Besorgnis der Befangenheit nach <ref-law> bzw. wegen eines Verstosses gegen Art. 6 EMRK ablehne.
Der Antrag wurde vom Obergericht in modifizierter Besetzung, unter Mitwirkung der Oberrichter Niklaus, Geiser und Kiener, beurteilt. Mit Beschluss vom 3. November 2017 trat es darauf nicht ein. Die Kosten des Verfahrens von Fr. 500.-- auferlegte es dem Rechtsvertreter des Gesuchstellers, Rechtsanwalt B._. Zur Begründung führte es aus, das Ausstandsgesuch vom 12. Oktober 2017 sei verspätet erfolgt. Zudem sei es auch offensichtlich unbegründet. Weil der Rechtsvertreter die Aussichtslosigkeit des Gesuchs bei Beachtung minimaler Sorgfaltspflichten hätte erkennen müssen, seien die Kosten gestützt auf <ref-law> ausnahmsweise ihm aufzuerlegen.
B.
Mit Beschwerde in Strafsachen vom 4. Dezember 2017 an das Bundesgericht beantragt A._, der Beschluss des Obergerichts sei aufzuheben und das Ausstandsgesuch gutzuheissen. Die Sache sei an die Vorinstanz zurückzuweisen, damit diese in einer auf Gesetz beruhenden Besetzung neu entscheide, wobei die Oberrichter Niklaus, Geiser und Kiener in den Ausstand zu treten hätten. Die Kosten des Ausstandsverfahrens seien dem Kanton Bern aufzuerlegen und Rechtsanwalt B._ sei eine Parteientschädigung von Fr. 2'000.-- zu bezahlen.
In verfahrensrechtlicher Hinsicht macht der Beschwerdeführer geltend, er lehne die strafrechtliche Abteilung des Bundesgerichts wegen eines Verstosses gegen den Anspruch auf den gesetzlichen Richter ab.
Die Beschwerdegegner haben auf eine Vernehmlassung verzichtet. Das Obergericht beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Der Beschwerdeführer hat dazu Stellung genommen.

Erwägungen:
1.
Beim angefochtenen Urteil handelt es sich um einen kantonal letztinstanzlichen Entscheid in einer Strafsache (Art. 78 Abs. 1 und Art. 80 BGG i.V.m. <ref-law>). Gemäss <ref-law> ist gegen selbständig eröffnete Vor- und Zwischenentscheide über die Zuständigkeit und über Ausstandsbegehren die Beschwerde zulässig. Der Begriff des Ausstands im Sinne dieser Bestimmung ist weit zu verstehen. Darunter fallen auch andere Zwischenentscheide über die Zusammensetzung der entscheidenden Behörde. Es handelt sich dabei um gerichtsorganisatorische Fragen, die endgültig entschieden werden sollen, bevor das Verfahren fortgesetzt wird (Urteil 1B_311/2016 vom 10. Oktober 2016 E. 1 mit Hinweisen). Der Beschwerdeführer ist gemäss <ref-law> zur Beschwerde befugt. Auf sein Rechtsmittel ist einzutreten.
2.
2.1. Der Beschwerdeführer macht vorab geltend, er lehne die von der strafrechtlichen Abteilung des Bundesgerichts bestimmte Besetzung des Spruchkörpers wegen eines Verstosses gegen Art. 6 EMRK aus Besorgnis der Befangenheit ab. Aus der Begründung dieses Verfahrensantrags geht hervor, dass er das ganze Bundesgericht und nicht lediglich die strafrechtliche Abteilung meint. Auf die Kritik ist deshalb einzugehen, auch wenn im vorliegenden Fall nicht die strafrechtliche, sondern die erste öffentlich-rechtliche Abteilung zuständig ist (Art. 29 Abs. 3 des Reglements vom 20. November 2006 für das Bundesgericht [BGerR; SR 173.110.131]).
2.2. Der Beschwerdeführer macht entgegen dem Wortlaut seines Antrags nicht die Befangenheit einzelner Richter oder einen sonstigen Ausstandsgrund im Sinn von <ref-law> geltend, sondern kritisiert das Verfahren der Spruchkörperbesetzung. Konkret bringt er vor, das Bundesgericht verfüge über keinen Geschäftsverteilungsplan für die Besetzung des Spruchkörpers im Einzelfall. Anders als am Bundesverwaltungsgericht erfolge diese nicht ausschliesslich nach dem Zufallsprinzip. Die in <ref-law> vorgesehenen Kriterien würden keine Gewähr dafür bieten, dass der Spruchkörper gegen Einflussnahme von Aussen hinreichend geschützt sei. Der Abteilungspräsident habe weitgehend freie Hand, was konventionswidrig sei.
2.3. Das Bundesgericht hat im zur Publikation bestimmten Urteil 6B_1356/2016 vom 5. Januar 2018 E. 2 ausführlich dargelegt, dass die Besetzung des Spruchkörpers am Bundesgericht verfassungs- und konventionskonform geregelt ist. Es bestätigte damit seine Ausführungen im Urteil 1B_491/2016 vom 24. März 2017 E. 1.4. Insbesondere legte es dar, dass in <ref-law> sachliche Kriterien vorgesehen sind, welche der Abteilungspräsident bei der Besetzung des Spruchkörpers berücksichtigen muss, und dass eine weitere Objektivierung der Besetzung aufgrund der EDV-Applikation "CompCour" erfolgt, welche die weiteren mitwirkenden Richter automatisch bestimmt. Das Bundesgericht hat weiter aufgezeigt, dass weder die Bundesverfassung noch die EMRK verlangen, bei der Spruchkörperbesetzung jegliches Ermessen auszuschliessen. Die Kritik des Beschwerdeführers weckt keine Zweifel an der Richtigkeit dieser Darlegungen und bietet deshalb auch keinen Anlass, darauf zurückzukommen. Die Rüge der Verletzung von Art. 6 EMRK ist unbegründet, und der Spruchkörper ist in der dargestellten üblichen Weise zu besetzen.
3.
3.1. Der Beschwerdeführer ist der Auffassung, das Obergericht hätte auf sein Ausstandsgesuch eintreten müssen. Nach den Grundsätzen der EMRK genüge es in der Regel, wenn die gerügte Verletzung zumindest in der obersten Instanz der Sache nach vorgetragen werde, soweit das Gericht eine entsprechende Prüfungskompetenz habe (PATRICK SCHÄFER, in: EMRK, 2. Aufl. 2015, N. 44 zu Art. 35 EMRK). Zudem könne nach der Rechtsprechung des EGMR ein Verzicht auf Rechte, die aus Art. 6 EMRK fliessen, aufgrund ihrer Wichtigkeit nicht allein von den Parteien abhängen. Vom Ausstandsgrund habe er zudem erst acht Tage vor seinem am 12. Oktober 2017 erhobenen Gesuch Kenntnis erhalten.
3.2. Gemäss <ref-law> hat die Partei, die den Ausstand einer in einer Strafbehörde tätigen Person verlangt, der Verfahrensleitung ohne Verzug ein entsprechendes Gesuch zu stellen, sobald sie vom Ausstandsgrund Kenntnis hat; die den Ausstand begründenden Tatsachen sind glaubhaft zu machen. Nach der Rechtsprechung ist der Ausstand in den nächsten Tagen nach Kenntnisnahme zu verlangen. Andernfalls verwirkt der Anspruch. Ein Gesuch, das sechs bis sieben Tage nach Kenntnis des Ausstandsgrunds eingereicht wird, gilt als rechtzeitig. Unzulässig ist jedenfalls ein Zuwarten während zwei Wochen (zum Ganzen: Urteil 1B_100/2015 vom 8. Juni 2015 E. 4.1 mit Hinweisen). Auch Organmängel anderer Art sind nach der Rechtsprechung gestützt auf den Grundsatz von Treu und Glauben (<ref-law>) so früh wie möglich, d.h. nach deren Kenntnis bei erster Gelegenheit, geltend zu machen. Dies gilt auch, soweit eine Verletzung von Art. 6 EMRK gerügt wird (<ref-ruling> E. 4.3 S. 69; <ref-ruling> E. 4.3 S. 496; je mit Hinweisen).
3.3. Aus dem angefochtenen Entscheid geht hervor, dass die Besetzung des Berufungsgerichts dem Beschwerdeführer mit der Vorladung vom 9. Juni 2017 mitgeteilt worden war. In ihrer Beschwerdeantwort hält die Vorinstanz zudem fest, dass dem Rechtsvertreter des Beschwerdeführers bereits mit Schreiben vom 29. März 2017 dargelegt worden sei, wie die Geschäftszuteilung an die beiden Strafkammern und innerhalb dieser erfolge. Das Ausstandsgesuch vom 12. Oktober 2017, mit dem der Beschwerdeführer die unzureichende gesetzliche Normierung dieser Geschäftszuteilung kritisierte, war vor diesem Hintergrund offensichtlich verspätet.
3.4. Was der Beschwerdeführer weiter vorbringt, überzeugt ebenfalls nicht. Dass mit der Geltendmachung einer Verletzung von Art. 6 EMRK ohne Nachteil auch zugewartet werden könne, trifft nach dem Ausgeführten nicht zu. Wenn er zudem mit Hinweis auf eine Kommentierung zu Art. 35 EMRK vorbringt, es genüge in der Regel, wenn die Rüge vor der obersten Instanz vorgetragen werde, übersieht er, dass es bei dieser Bestimmung um die Erschöpfung des innerstaatlichen Instanzenzugs geht und nicht um die Verwirkung des Rechts, Organmängel geltend zu machen.
3.5. Das Obergericht hat aus diesen Gründen kein Bundesrecht verletzt, wenn es auf den Antrag des Beschwerdeführers nicht eingetreten ist. Auf dessen Ausführungen zur Frage, ob die Spruchkörperbesetzung am Obergericht den Anforderungen des Anspruchs auf den gesetzlich vorgesehenen Richter genügt, ist deshalb nicht einzugehen.
4.
Die Beschwerde ist somit abzuweisen.
Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege ist wegen Aussichtslosigkeit der Rechtsbegehren abzuweisen (<ref-law>). Damit sind die Gerichtskosten grundsätzlich dem Beschwerdeführer aufzuerlegen (<ref-law>). Gemäss <ref-law> hat indessen unnötige Kosten zu bezahlen, wer sie verursacht hat. Auf dieser Grundlage kann das Bundesgericht ausnahmsweise entscheiden, die Kosten nicht der unterliegenden Partei, sondern deren Rechtsvertreter persönlich aufzuerlegen. Dies ist namentlich dann gerechtfertigt, wenn die Aussichtslosigkeit des eingelegten Rechtsmittels schon bei Beachtung elementarster Sorgfalt festgestellt werden kann (Urteil 9C_644/2016 vom 31. Oktober 2016 E. 3 mit Hinweisen). Dies trifft nach dem Ausgeführten vorliegend zu. Die Gerichtskosten sind deshalb dem Rechtsvertreter des Beschwerdeführers und nicht diesem selbst aufzuerlegen. Eine Parteientschädigung ist nicht zuzusprechen (Art. 68 Abs. 1-3 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 1'000.-- werden Rechtsanwalt B._ auferlegt.
4.
Es wird keine Parteientschädigung zugesprochen.
5.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Bern, 2. Strafkammer, schriftlich mitgeteilt.
Lausanne, 19. April 2018
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Merkli
Der Gerichtsschreiber: Dold