Sachverhalt:
A.
Am 23. Januar 2018 erliess die Staatsanwaltschaft Bern eine Nichtanhandnahmeverfügung in Bezug auf den gegen Unbekannt gerichteten Vorwurf der Unterdrückung von Urkunden und des Amtsmissbrauchs. A._, der die Strafanzeige erstattet hatte, erhob hiergegen Beschwerde ans Obergericht Bern. In seiner Beschwerde machte er vorab geltend, er lehne die Besetzung der Beschwerdekammer in Strafsachen des Obergerichts wegen einer Verletzung von Art. 6 EMRK ab.
Die Verfahrensleitung der Beschwerdekammer leitete das mit der Beschwerde verbundene Ausstandsgesuch an die Strafkammern des Obergerichts weiter. Die 1. Strafkammer beschloss in der Folge unter Mitwirkung der Oberrichter Niklaus, Geiser und Kiener am 2. März 2018, das Ausstandsgesuch abzuweisen, soweit darauf einzutreten sei.
B.
Mit Beschwerde in Strafsachen ans Bundesgericht vom 9. April 2018 beantragt A._, der Beschluss vom 2. März 2018 sei aufzuheben. Die Oberrichter Niklaus, Geiser und Kiener hätten in den Ausstand zu treten und die Kosten des Ausstandsverfahrens seien dem Kanton Bern aufzuerlegen.
In verfahrensrechtlicher Hinsicht macht der Beschwerdeführer geltend, er lehne die strafrechtliche Abteilung des Bundesgerichts wegen eines Verstosses gegen den Anspruch auf den gesetzlichen Richter ab.

Erwägungen:
1.
1.1. Beim angefochtenen Urteil handelt es sich um einen kantonal letztinstanzlichen Entscheid in einer Strafsache (Art. 78 Abs. 1 und Art. 80 BGG i.V.m. <ref-law>). Gemäss <ref-law> ist gegen selbständig eröffnete Vor- und Zwischenentscheide über die Zuständigkeit und über Ausstandsbegehren die Beschwerde zulässig. Der Begriff des Ausstands im Sinne dieser Bestimmung ist weit zu verstehen. Darunter fallen auch andere Zwischenentscheide über die Zusammensetzung der entscheidenden Behörde. Es handelt sich dabei um gerichtsorganisatorische Fragen, die endgültig entschieden werden sollen, bevor das Verfahren fortgesetzt wird (Urteil 1B_311/2016 vom 10. Oktober 2016 E. 1 mit Hinweisen). Der Beschwerdeführer ist gemäss <ref-law> zur Beschwerde befugt (<ref-ruling> E. 1.1 S. 5; <ref-ruling> E. 1.3 S. 80; Urteil 6B_1039/2017 vom 13. März 2018 E. 1.2.2; je mit Hinweisen). Auf sein Rechtsmittel ist grundsätzlich einzutreten.
2.
2.1. Der Beschwerdeführer macht vorab geltend, er lehne die von der strafrechtlichen Abteilung des Bundesgerichts bestimmte Besetzung des Spruchkörpers wegen eines Verstosses gegen Art. 6 EMRK wegen Besorgnis der Befangenheit ab. Aus der Begründung dieses Verfahrensantrags geht hervor, dass er das ganze Bundesgericht und nicht lediglich die strafrechtliche Abteilung meint. Auf die Kritik ist deshalb einzugehen, auch wenn im vorliegenden Fall nicht die strafrechtliche, sondern die erste öffentlich-rechtliche Abteilung zuständig ist (Art. 29 Abs. 3 des Reglements vom 20. November 2006 für das Bundesgericht [BGerR; SR 173.110.131]).
2.2. Der Beschwerdeführer macht entgegen dem Wortlaut seines Antrags nicht die Befangenheit einzelner Richter oder einen sonstigen Ausstandsgrund im Sinn von <ref-law> geltend, sondern kritisiert das Verfahren der Spruchkörperbesetzung. Konkret bringt er vor, das Bundesgericht verfüge über keinen Geschäftsverteilungsplan für die Besetzung des Spruchkörpers im Einzelfall. Anders als am Bundesverwaltungsgericht erfolge diese nicht ausschliesslich nach dem Zufallsprinzip. Die in <ref-law> vorgesehenen Kriterien würden keine Gewähr dafür bieten, dass der Spruchkörper gegen Einflussnahme von Aussen hinreichend geschützt sei. Der Abteilungspräsident habe weitgehend freie Hand, was konventionswidrig sei. In diesem Zusammenhang sei auch zu berücksichtigen, dass die Bundesrichter nur für eine relativ kurze Amtszeit von sechs Jahren gewählt würden und damit verstärkt politischem Druck ausgesetzt seien.
2.3. Das Bundesgericht hat im zur Publikation bestimmten Urteil 6B_1356/2016 vom 5. Januar 2018 E. 2 ausführlich dargelegt, dass die Besetzung des Spruchkörpers am Bundesgericht verfassungs- und konventionskonform geregelt ist. Es bestätigte damit seine Ausführungen im Urteil 1B_491/2016 vom 24. März 2017 E. 1.4. Insbesondere legte es dar, dass in <ref-law> sachliche Kriterien vorgesehen sind, welche der Abteilungspräsident bei der Besetzung des Spruchkörpers berücksichtigen muss, und dass eine weitere Objektivierung der Besetzung aufgrund der EDV-Applikation "CompCour" erfolgt, welche die weiteren mitwirkenden Richter automatisch bestimmt. Das Bundesgericht hat weiter aufgezeigt, dass weder die Bundesverfassung noch die EMRK verlangen, bei der Spruchkörperbesetzung jegliches Ermessen auszuschliessen. Die Kritik des Beschwerdeführers weckt keine Zweifel an der Richtigkeit dieser Darlegungen und bietet deshalb auch keinen Anlass, darauf zurückzukommen. Das gilt auch für den Hinweis auf die Amtsdauer (vgl. dazu <ref-ruling> E. 3 S. 212 ff. mit Hinweisen). Die Rüge der Verletzung von Art. 6 EMRK ist unbegründet, und der Spruchkörper ist in der dargestellten üblichen Weise zu besetzen.
3.
3.1. Der Beschwerdeführer rügt eine Verletzung der Begründungspflicht (<ref-law>) und des Rechts auf wirksame Beschwerde (Art. 13 EMRK). Der angefochtene Beschluss setze sich nicht mit der Frage der Verletzung von Art. 6 EMRK auseinander, was dem Ausstandsgesuch die Wirksamkeit im Sinne von Art. 13 EMRK nehme.
3.2. Der Anspruch auf rechtliches Gehör verlangt, dass die Behörde die Vorbringen des vom Entscheid in seiner Rechtsstellung Betroffenen auch tatsächlich hört, prüft und in der Entscheidfindung berücksichtigt. Daraus folgt die Verpflichtung der Behörde, ihren Entscheid zu begründen. Dabei ist es nicht erforderlich, dass sie sich mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Punkte beschränken. Die Begründung muss so abgefasst sein, dass sich der Betroffene über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen kann. In diesem Sinne müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde hat leiten lassen und auf die sich ihr Entscheid stützt (<ref-ruling> E. 5.2 S. 70 f. mit Hinweisen).
3.3. Die Vorinstanz ist auf die Vorbringen des Beschwerdeführers insofern nicht eingetreten, als dieser die Mitglieder der Beschwerdekammer ablehnte, ohne konkret darzutun, weshalb der Anschein der Befangenheit gegeben sei. Ihr Entscheid ist in dieser Hinsicht hinreichend begründet. Insofern, als der Beschwerdeführer eine Verletzung des Anspruchs auf den gesetzlichen Richter im Sinne von <ref-law> und Art. 6 Abs. 1 EMRK geltend gemacht hatte, trat die Vorinstanz auf das Gesuch ein und setzte sich mit der beschwerdeführerischen Kritik auch eingehend auseinander. Aus dem angefochtenen Beschluss ist ohne Weiteres ersichtlich, aus welchen Erwägungen sie zum Schluss kam, der Anspruch sei nicht verletzt. Die Begründungspflicht wurde damit erfüllt. Ebenfalls unbegründet ist die Rüge der Missachtung von Art. 13 EMRK. Dass das vorliegende Verfahren dem Beschwerdeführer keine wirksame Beschwerde ermöglichen soll, ist nicht nachvollziehbar. Art. 13 EMRK ist nicht verletzt, nur weil die von Art. 13 EMRK geforderte Beschwerdeinstanz der Rechtsauffassung des Beschwerdeführers nicht folgt.
4.
4.1. Der Beschwerdeführer kritisiert im Wesentlichen, am Obergericht bestünden keine gesetzlichen Bestimmungen, die die Richterzuteilung im Voraus abstrakt regelten. Auch gebe es keinen Geschäftsverteilungsplan. Art. 6 EMRK verlange indessen, dass die Besetzung des Gerichts klar und eindeutig geregelt sei. Es sei unzulässig, wenn der Gerichtspräsident insofern über einen weiten Spielraum verfüge. Zudem sei es entgegen der Auffassung der Vorinstanz nicht ausreichend, wenn die für die Spruchkörperbesetzung in Frage kommenden Richter aus einer öffentlich zugänglichen Quelle hervorgingen. Der EGMR habe einen Verstoss gegen Art. 6 EMRK festgestellt, weil die Namen der am Entscheid beteiligten Personen dem Beschwerdeführer nicht bekannt gegeben worden waren (Urteil des EGMR Vernes gegen Frankreich vom 20. Januar 2011, Nr. 30183/06, §§ 38-44).
4.2. Nach <ref-law> hat jede Person, deren Sache in einem gerichtlichen Verfahren beurteilt werden muss, Anspruch auf ein durch Gesetz geschaffenes, zuständiges, unabhängiges und unparteiisches Gericht. Ausnahmegerichte sind untersagt. Mit ähnlichen Worten garantiert Art. 6 Abs. 1 EMRK das Recht jeder Person, dass über Streitigkeiten in Bezug auf ihre zivilrechtlichen Ansprüche und Verpflichtungen oder über eine gegen sie erhobene strafrechtliche Anklage von einem unabhängigen und unparteiischen, auf Gesetz beruhenden Gericht in einem fairen Verfahren, öffentlich und innerhalb angemessener Frist verhandelt wird.
4.3. Die Besetzung der Richterbank am Obergericht Bern ist in Art. 44 f. des Gesetzes des Kantons Bern vom 11. Juni 2009 über die Organisation der Gerichtsbehörden und der Staatsanwaltschaft (GSOG; BSG 161.1) geregelt. Die beiden Bestimmungen haben, soweit vorliegend von Interesse, folgenden Wortlaut:
Art. 44 Abteilungspräsidentin oder Abteilungspräsident
1 Die Abteilungspräsidentin oder der Abteilungspräsident führt die Abteilung und ist verantwortlich für die Fallzuteilung und den Belastungsausgleich.
2 Sie oder er entscheidet über den Beizug von Ersatzrichterinnen und Ersatzrichtern.
2 Sie oder er entscheidet über den Beizug von Ersatzrichterinnen und Ersatzrichtern.
...
Art. 45 Spruchkörper
1 Die Urteilsfindung erfolgt in Dreierbesetzung, soweit das Gesetz nichts anderes bestimmt.
1 Die Urteilsfindung erfolgt in Dreierbesetzung, soweit das Gesetz nichts anderes bestimmt.
...
4.4. Die Vorinstanz führt aus, dem Beschwerdeführer sei die Anwendung von Art. 44 und 45 GSOG bereits einlässlich erläutert worden. Mit Schreiben vom 25. September 2017 habe ihm Oberrichterin Schnell erklärt, dass sie als Präsidentin der Beschwerdekammer in der Regel sowohl in der Instruktions- als auch in der Entscheidphase beteiligt sei. Welche weiteren Kammermitglieder zum Entscheid beigezogen werden könnten, zeige sich in der Regel erst im Zeitpunkt des Beginns der Zirkulation, weil erst dann sicher sei, wer von den in der Beschwerdekammer tätigen Oberrichtern anwesend und auch tatsächlich verfügbar sei. Mit Schreiben vom 3. Oktober 2017 habe Oberrichterin Schnell festgehalten, dass es keine Listenplätze oder "Excel"-Tabellen gebe und dass sie die Kammerzusammensetzung im betreffenden Verfahren nach dem Kriterium der Verfügbarkeit vorgenommen habe.
Weiter hält die Vorinstanz fest, aus dem Staatskalender sei ersichtlich, dass die Beschwerdekammer seit dem 1. Januar 2017 aus sechs Mitgliedern bestehe. Davon sei ein Mitglied (Oberrichter Niklaus) französischer Muttersprache. Er wirke - unter Vorbehalt von Abwesenheiten und Aushilfe insbesondere in Haftsachen - an deutschsprachigen Verfahren nicht mit.
4.5. Im zur Publikation vorgesehenen Urteil 1B_517/2017 vom 13. März 2018, das ebenfalls das Obergericht Bern betrifft, hat das Bundesgericht ausführlich dargelegt, dass die kritisierte Spruchkörperbildung mit den verfassungs- und konventionsrechtlichen Vorgaben vereinbar ist. Ausschlaggebend war, dass sich die Kriterien für die Spruchkörperbildung in hinreichender Klarheit aus Art. 44 Abs. 1 GSOG und der dazugehörigen Praxis ergeben. Das Bundesgericht setzte sich auch mit der Kritik an der Wahl der für das Ausstandsverfahren zuständigen Richter auseinander und stellte fest, dass sich das Obergericht auch in dieser Hinsicht von sachlichen Gesichtspunkten hatte leiten lassen, nämlich der Regel, dass konnexe Fälle im Allgemeinen vom gleichen Spruchkörper zu behandeln sind sowie der Regel, dass von einem Ausstandsgesuch betroffene Personen am Entscheid über dessen Begründetheit nicht mitwirken (zum Ganzen: a.a.O., E. 5-6, insbesondere E. 6.3). Die vom Beschwerdeführer vorgetragene Kritik an den betreffenden Erwägungen, die auch im vorliegenden Verfahren Gültigkeit beanspruchen, gibt keinen Anlass, darauf zurückzukommen. Dies gilt auch für das Urteil des EGMR in der Sache Vernes gegen Frankreich, dessen Erwägungen sich nicht auf die vorliegende Problemstellung übertragen lassen. Die Konventionsverletzung war in jenem Verfahren darauf zurückzuführen, dass dem Betroffenen die Namen sämtlicher am Entscheid mitwirkenden Personen nicht, das heisst auch nicht nachträglich, mitgeteilt worden waren (a.a.O., §§ 38 ff.).
5.
5.1. Der Beschwerdeführer ist schliesslich der Auffassung, die im angefochtenen Entscheid erfolgte Kostenauflage an den "Rechtsvertreter des Beschwerdeführers" basiere auf einer Verdrehung der Tatsachen und lasse auf eine inzwischen bestehende Feindschaft schliessen, was einen Ausstandsgrund darstelle.
5.2. Der Beschwerdeführer scheint zu übersehen, dass er im vorliegenden Verfahren nicht als Rechtsvertreter eines Dritten auftritt, sondern im eigenen Namen Beschwerde führt. Dass ihm zufolge seines Unterliegens Kosten von Fr. 750.-- auferlegt wurden, kann unter diesen Umständen nicht als Anzeichen einer Feindschaft angesehen werden. Inwiefern die Vorinstanz Tatsachen verdreht haben soll, legt er zudem nicht dar (<ref-law>). Die sinngemäss erhobene Rüge der Verletzung von <ref-law> und Art. 6 Abs. 1 EMRK ist somit unbegründet, soweit sie hinreichend substanziiert wurde.
6.
Die Beschwerde ist aus diesen Gründen abzuweisen, soweit darauf einzutreten ist.
Der Beschwerdeführer stellt ein Gesuch um unentgeltliche Rechtspflege. Er hat seine finanziellen Verhältnisse jedoch nicht hinreichend offengelegt, als dass beurteilt werden könnte, ob er nicht über die erforderlichen Mittel verfügt. Der Hinweis, er führe zahlreiche Verfahren und könne sich diese finanziell nicht mehr leisten, reicht dafür nicht. Das Gesuch ist deshalb abzuweisen. Im Übrigen erscheint die Beschwerde auch aussichtslos (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
4.
Es wird keine Parteientschädigung zugesprochen.
5.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Bern, 1. Strafkammer, schriftlich mitgeteilt.
Lausanne, 11. Mai 2018
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Merkli
Der Gerichtsschreiber: Dold