Sachverhalt:
A.
Gegen A._ ist im Kanton Bern ein Strafverfahren hängig. Während des Berufungsverfahrens machte er mit Eingabe vom 31. Januar 2018 geltend, er lehne den Spruchkörper (Oberrichter Kiener, Oberrichterin Bratschi-Rindlisbacher und Obergerichtssuppleantin Schwendener) wegen eines Verstosses gegen Art. 6 EMRK ab.
Mit Beschluss vom 14. März 2018 wies die 2. Strafkammer des Obergerichts (in der Besetzung mit den Oberrichtern Niklaus, Geiser und Aebi) das Gesuch ab, soweit sie darauf eintrat.
B.
Mit Beschwerde in Strafsachen ans Bundesgericht vom 9. April 2018 beantragt A._, der Beschluss des Obergerichts sei aufzuheben und das Ausstandsgesuch gutzuheissen. Die Sache sei an die Vorinstanz zurückzuweisen, damit diese in einer auf Gesetz beruhenden Besetzung neu entscheide, wobei die Oberrichter Niklaus, Geiser und Aebi in den Ausstand zu treten hätten.
In verfahrensrechtlicher Hinsicht macht der Beschwerdeführer geltend, er lehne die strafrechtliche Abteilung des Bundesgerichts wegen eines Verstosses gegen den Anspruch auf den gesetzlichen Richter ab.

Erwägungen:
1.
Beim angefochtenen Urteil handelt es sich um einen kantonal letztinstanzlichen Entscheid in einer Strafsache (Art. 78 Abs. 1 und Art. 80 BGG i.V.m. <ref-law>). Gemäss <ref-law> ist gegen selbständig eröffnete Vor- und Zwischenentscheide über die Zuständigkeit und über Ausstandsbegehren die Beschwerde zulässig. Der Begriff des Ausstands im Sinne dieser Bestimmung ist weit zu verstehen. Darunter fallen auch andere Zwischenentscheide über die Zusammensetzung der entscheidenden Behörde. Es handelt sich dabei um gerichtsorganisatorische Fragen, die endgültig entschieden werden sollen, bevor das Verfahren fortgesetzt wird (Urteil 1B_311/2016 vom 10. Oktober 2016 E. 1 mit Hinweisen). Der Beschwerdeführer ist gemäss <ref-law> zur Beschwerde befugt (<ref-ruling> E. 1.1 S. 5; <ref-ruling> E. 1.3 S. 80; Urteil 6B_1039/2017 vom 13. März 2018 E. 1.2.2; je mit Hinweisen). Auf sein Rechtsmittel ist einzutreten.
2.
2.1. Der Beschwerdeführer macht vorab geltend, er lehne die von der strafrechtlichen Abteilung des Bundesgerichts bestimmte Besetzung des Spruchkörpers wegen eines Verstosses gegen Art. 6 EMRK wegen Besorgnis der Befangenheit ab. Aus der Begründung dieses Verfahrensantrags geht hervor, dass er das ganze Bundesgericht und nicht lediglich die strafrechtliche Abteilung meint. Auf die Kritik ist deshalb einzugehen, auch wenn im vorliegenden Fall nicht die strafrechtliche, sondern die erste öffentlich-rechtliche Abteilung zuständig ist (Art. 29 Abs. 3 des Reglements vom 20. November 2006 für das Bundesgericht [BGerR; SR 173.110.131]).
2.2. Der Beschwerdeführer macht entgegen dem Wortlaut seines Antrags nicht die Befangenheit einzelner Richter oder einen sonstigen Ausstandsgrund im Sinn von <ref-law> geltend, sondern kritisiert das Verfahren der Spruchkörperbesetzung. Konkret bringt er vor, das Bundesgericht verfüge über keinen Geschäftsverteilungsplan für die Besetzung des Spruchkörpers im Einzelfall. Anders als am Bundesverwaltungsgericht erfolge diese nicht ausschliesslich nach dem Zufallsprinzip. Die in <ref-law> vorgesehenen Kriterien würden keine Gewähr dafür bieten, dass der Spruchkörper gegen Einflussnahme von Aussen hinreichend geschützt sei. Der Abteilungspräsident habe weitgehend freie Hand, was konventionswidrig sei. In diesem Zusammenhang sei auch zu berücksichtigen, dass die Bundesrichter nur für eine relativ kurze Amtszeit von sechs Jahren gewählt würden und damit verstärkt politischem Druck ausgesetzt seien.
2.3. Das Bundesgericht hat im zur Publikation bestimmten Urteil 6B_1356/2016 vom 5. Januar 2018 E. 2 ausführlich dargelegt, dass die Besetzung des Spruchkörpers am Bundesgericht verfassungs- und konventionskonform geregelt ist. Es bestätigte damit seine Ausführungen im Urteil 1B_491/2016 vom 24. März 2017 E. 1.4. Insbesondere legte es dar, dass in <ref-law> sachliche Kriterien vorgesehen sind, welche der Abteilungspräsident bei der Besetzung des Spruchkörpers berücksichtigen muss, und dass eine weitere Objektivierung der Besetzung aufgrund der EDV-Applikation "CompCour" erfolgt, welche die weiteren mitwirkenden Richter automatisch bestimmt. Das Bundesgericht hat weiter aufgezeigt, dass weder die Bundesverfassung noch die EMRK verlangen, bei der Spruchkörperbesetzung jegliches Ermessen auszuschliessen. Die Kritik des Beschwerdeführers weckt keine Zweifel an der Richtigkeit dieser Darlegungen und bietet deshalb auch keinen Anlass, darauf zurückzukommen. Das gilt auch für den Hinweis auf die Amtsdauer (vgl. dazu <ref-ruling> E. 3 S. 212 ff. mit Hinweisen). Die Rüge der Verletzung von Art. 6 EMRK ist unbegründet, und der Spruchkörper ist in der dargestellten üblichen Weise zu besetzen.
3.
3.1. Der Beschwerdeführer kritisiert, dass die Vorinstanz auf sein Gesuch teilweise nicht eingetreten sei, widerspreche Art. 18 Abs. 4 des Einführungsgesetzes vom 11. Juni 2009 zur Zivilprozessordnung, zur Strafprozessordnung und zur Jugendstrafprozessordnung (EG ZSJ; BSG 271.1). Dies verletze Art. 6 EMRK.
3.2. Die Vorinstanz ist auf die Vorbringen des Beschwerdeführers insofern nicht eingetreten, als dieser die Mitglieder der Beschwerdekammer ablehnte, ohne konkret darzutun, weshalb der Anschein der Befangenheit gegeben sei. Insofern, als der Beschwerdeführer eine Verletzung des Anspruchs auf den gesetzlichen Richter im Sinne von <ref-law> und Art. 6 Abs. 1 EMRK geltend gemacht hatte, trat die Vorinstanz auf das Gesuch ein und setzte sich mit der beschwerdeführerischen Kritik auch eingehend auseinander. Der Beschwerdeführer macht denn auch keine Verletzung der Begründungspflicht geltend. Art. 18 Abs. 4 EG ZSJ sieht vor, dass über die Ablehnung eines Spruchkörpers des Obergerichts in der Mehrheit oder Gesamtheit seiner Mitglieder ein ersatzweise gebildeter, gleich zusammengesetzter Spruchkörper entscheidet. Inwiefern diese Bestimmung im vorinstanzlichen Verfahren missachtet und damit Art. 6 EMRK verletzt worden sein soll, ist nicht ersichtlich.
4.
4.1. Der Beschwerdeführer kritisiert im Wesentlichen, am Obergericht bestünden keine gesetzlichen Bestimmungen, die die Richterzuteilung im Voraus abstrakt regelten. Auch gebe es keinen Geschäftsverteilungsplan. Art. 6 EMRK verlange indessen, dass die Besetzung des Gerichts klar und eindeutig geregelt sei. Es sei unzulässig, wenn der Gerichtspräsident insofern über einen weiten Spielraum verfüge und wenn ein Geschäftsverteilungsplan nicht publiziert werde. Die Verwendung einer Tabelle für die Geschäftsverteilung sei gesetzlich nicht vorgesehen. Der Mangel einer hinreichenden gesetzlichen Grundlage betreffe auch den Einsatz der Oberrichter Niklaus, Geiser und Aebi im Ausstandsverfahren sowie den Beizug der Obergerichtssuppleantin und deren Einsetzung als Vorsitzende. Zudem sei es entgegen der Auffassung der Vorinstanz nicht ausreichend, wenn die für die Spruchkörperbesetzung in Frage kommenden Richter aus einer öffentlich zugänglichen Quelle hervorgingen. Der EGMR habe einen Verstoss gegen Art. 6 EMRK festgestellt, weil die Namen der am Entscheid beteiligten Personen dem Beschwerdeführer nicht bekannt gegeben worden waren (Urteil des EGMR Vernes gegen Frankreich vom 20. Januar 2011, Nr. 30183/06, §§ 38-44).
4.2. Nach <ref-law> hat jede Person, deren Sache in einem gerichtlichen Verfahren beurteilt werden muss, Anspruch auf ein durch Gesetz geschaffenes, zuständiges, unabhängiges und unparteiisches Gericht. Ausnahmegerichte sind untersagt. Mit ähnlichen Worten garantiert Art. 6 Abs. 1 EMRK das Recht jeder Person, dass über Streitigkeiten in Bezug auf ihre zivilrechtlichen Ansprüche und Verpflichtungen oder über eine gegen sie erhobene strafrechtliche Anklage von einem unabhängigen und unparteiischen, auf Gesetz beruhenden Gericht in einem fairen Verfahren, öffentlich und innerhalb angemessener Frist verhandelt wird.
4.3. Die Besetzung der Richterbank am Obergericht Bern ist in Art. 44 f. des Gesetzes des Kantons Bern vom 11. Juni 2009 über die Organisation der Gerichtsbehörden und der Staatsanwaltschaft (GSOG; BSG 161.1) geregelt. Die beiden Bestimmungen haben, soweit vorliegend von Interesse, folgenden Wortlaut:
Art. 44 Abteilungspräsidentin oder Abteilungspräsident
1 Die Abteilungspräsidentin oder der Abteilungspräsident führt die Abteilung und ist verantwortlich für die Fallzuteilung und den Belastungsausgleich.
2 Sie oder er entscheidet über den Beizug von Ersatzrichterinnen und Ersatzrichtern.
2 Sie oder er entscheidet über den Beizug von Ersatzrichterinnen und Ersatzrichtern.
...
Art. 45 Spruchkörper
1 Die Urteilsfindung erfolgt in Dreierbesetzung, soweit das Gesetz nichts anderes bestimmt.
1 Die Urteilsfindung erfolgt in Dreierbesetzung, soweit das Gesetz nichts anderes bestimmt.
...
4.4. Die Vorinstanz führt aus, dem Rechtsvertreter des Beschwerdeführers sei die Anwendung von Art. 44 und 45 GSOG bereits einlässlich erläutert worden. Mit Schreiben vom 25. März 2017 habe ihm der Präsident der Strafabteilung mitgeteilt, dass am Obergericht kein Geschäftsverteilungsplan nach deutschem Vorbild bestehe. Die beiden Strafkammern erhielten die eingehenden Geschäfte abwechslungsweise je zur Hälfte. Kammerintern würden die Fälle fortlaufend nach Listen mit allen möglichen Zusammensetzungen zugeteilt, wobei die Anzahl Fälle als Referent vom Umfang der Tätigkeit für die Strafkammern abhänge. Die Oberrichter seien an dieser mit Hilfe durch das Sekretariat bewirtschafteter Listen und nach dem Zufallsprinzip erfolgenden Spruchkörperbildung nicht beteiligt.
4.5. Im zur Publikation vorgesehenen Urteil 1B_517/2017 vom 13. März 2018, das ebenfalls das Obergericht Bern betrifft, hat das Bundesgericht ausführlich dargelegt, dass die kritisierte Spruchkörperbildung mit den verfassungs- und konventionsrechtlichen Vorgaben vereinbar ist. Ausschlaggebend war, dass sich die Kriterien für die Spruchkörperbildung in hinreichender Klarheit aus Art. 44 Abs. 1 GSOG und der dazugehörigen Praxis ergeben. Jene Ausführungen, welche die Spruchkörperbildung in der Beschwerdekammer zum Gegenstand hatten, gelten vorliegend, wo es um die Strafkammern geht, umso mehr, zumal die Spruchkörperbildung gemäss den Darlegungen der Vorinstanz hier nach Listen und gestützt auf das Zufallsprinzip erfolgt. Dass dieses Vorgehen Art. 44 Abs. 1 GSOG widerspricht, ist nicht ersichtlich. Nach den vorinstanzlichen Ausführungen kommt dem Sekretariat bei der Verwaltung der Listen kein Ermessen zu (vgl. Urteil 1C_187/2017 vom 20. März 2018 E. 7). Das Bundesgericht setzte sich auch mit der Kritik an der Wahl der für das Ausstandsverfahren zuständigen Richter auseinander und stellte fest, dass sich das Obergericht auch in dieser Hinsicht von sachlichen Gesichtspunkten hatte leiten lassen, nämlich der Regel, dass konnexe Fälle im Allgemeinen vom gleichen Spruchkörper zu behandeln sind sowie der Regel, dass von einem Ausstandsgesuch betroffene Personen am Entscheid über dessen Begründetheit nicht mitwirken (zum Ganzen: a.a.O., E. 5-6, insbesondere E. 6.3). Die vom Beschwerdeführer vorgetragene Kritik an den betreffenden Erwägungen, die auch im vorliegenden Verfahren Gültigkeit beanspruchen, gibt keinen Anlass, darauf zurückzukommen. Dies gilt auch für das Urteil des EGMR in der Sache Vernes gegen Frankreich, dessen Erwägungen sich nicht auf die vorliegende Problemstellung übertragen lassen. Die Konventionsverletzung war in jenem Verfahren darauf zurückzuführen, dass dem Betroffenen die Namen sämtlicher am Entscheid mitwirkenden Personen nicht, das heisst auch nicht nachträglich, mitgeteilt worden waren (a.a.O., §§ 38 ff.).
4.6. Zum Beizug von Ersatzrichtern (Obergerichtssuppleanten) führte die Vorinstanz aus, dieser basiere gleich wie der Einsatz der ordentlichen Oberrichter auf Art. 44 und 45 GSOG. Art. 20 Abs. 6 GSOG sehe zudem vor, dass Ersatzrichter zur Entlastung eingesetzt würden. Gemäss der langjährigen Praxis teile der jeweilige Vorsitzende der Kammerpräsidentin der 2. Strafkammer den Bedarf eines Ersatzrichters mit. Nach Rücksprache mit dem Abteilungspräsidenten und in dessen Auftrag werde anschliessend von der Präsidentin der 2. Strafkammer ein Ersatzrichter bestimmt. Berücksichtigt würden dabei namentlich die Verfügbarkeit der Ersatzrichter, eine gleichmässige Verteilung der Einsätze sowie der Umstand, dass der Betreffende nicht Mitglied des Regionalgerichts sein sollte, dessen Urteil zu überprüfen sei. Durch dieses Vorgehen werde die Bestimmung des Spruchkörpers weiter objektiviert. Die Ersatzrichter würden im Übrigen wie die ordentlichen Richter gewählt und seien im Staatskalender ersichtlich. Im vorliegenden Fall sei Obergerichtssuppleantin Schwendener beigezogen worden, weil ein Oberrichter am Verhandlungstermin des 2. Februar 2018 in den Ferien gewesen sei und weil die übrigen Mitglieder der 2. Strafkammer stark mit Arbeit belastet gewesen seien. Schliesslich wirke die Entlastung am stärksten, wenn ein Ersatzrichter als Vorsitzender fungiere.
Auch in dieser Hinsicht ist der angefochtene Entscheid nicht zu beanstanden. Es stellt das zentrale Wesensmerkmal des Amts des Ersatzrichters dar, dass dieser bei hoher Arbeitsbelastung zur Unterstützung beigezogen werden kann, was aus Art. 20 Abs. 6 GSOG klar hervorgeht. Gemäss dieser Bestimmung werden Ersatzrichterinnen und -richter sowie Ersatzmitglieder zur Entlastung eingesetzt. Wie bereits erwähnt, verlangen zudem weder die Bundesverfassung noch die EMRK, dass bei der Spruchkörperbesetzung jegliches Ermessen ausgeschlossen wird. Dies gilt auch für die Auswahl des beizuziehenden Ersatzrichters. Die von der Vorinstanz genannten drei Kriterien sind sachlicher Natur und beruhen gemäss den Ausführungen im angefochtenen Entscheid darüber hinaus auf einer gefestigten Praxis. Die Spruchkörperbildung erscheint damit auch mit Blick auf den Beizug von Ersatzrichtern hinreichend regelgebunden (vgl. Urteil 1C_187/ 2017 vom 20. März 2018 E. 6.6). Ebenfalls auf einem sachlichen Grund, nämlich der möglichst weitgehenden Entlastung der übrigen Richter, fusst die Einsetzung von Obergerichtssuppleantin Schwendener als Vorsitzende.
5.
Die Beschwerde ist aus diesen Erwägungen abzuweisen.
Der Beschwerdeführer stellt ein Gesuch um unentgeltliche Rechtspflege. Er legt dem Bundesgericht indessen einzig den Lohnausweis seiner Ehefrau aus dem Jahr 2017 und die ablehnenden Antworten von zwei Banken auf Kreditanfragen vor. Damit hat er seine Einkommens- und Vermögensverhältnisse nicht hinreichend offen gelegt und es kann nicht beurteilt werden, ob er tatsächlich nicht über die erforderlichen Mittel verfügt (<ref-law>). Das Gesuch ist deshalb abzuweisen.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Bern, 2. Strafkammer, schriftlich mitgeteilt.
Lausanne, 8. Mai 2018
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Merkli
Der Gerichtsschreiber: Dold