Sachverhalt:
A.
Am 14. September 2017 erliess die Staatsanwaltschaft Bern eine Nichtanhandnahmeverfügung in Bezug auf den gegen Oberrichterin B._ gerichteten Vorwurf des Amtsmissbrauchs. A._, der die Strafanzeige erstattet hatte, erhob hiergegen Beschwerde ans Obergericht Bern. Zu Beginn des Beschwerdeverfahrens machte er geltend, er lehne Oberrichter Jürg Bähler wegen der Besorgnis der Befangenheit ab.
Die mit der Sache befasste Verfahrensleitung der Beschwerdekammer in Strafsachen leitete das Ausstandsgesuch an die Strafkammern des Obergerichts weiter. Die 2. Strafkammer beschloss in der Folge unter Mitwirkung der Oberrichter Niklaus, Geiser und Kiener am 3. November 2017, das Ausstandsgesuch abzuweisen, soweit darauf einzutreten sei.
B.
Mit Beschwerde in Strafsachen ans Bundesgericht vom 6. Dezember 2017 beantragt A._, der Beschluss des Obergerichts sei aufzuheben und das Ausstandsgesuch gutzuheissen. Die Sache sei an die Vorinstanz zurückzuweisen, damit diese in einer auf Gesetz beruhenden Besetzung neu entscheide, wobei die Oberrichter Niklaus, Geiser und Kiener in den Ausstand zu treten hätten. Die Kosten des Ausstandsverfahrens seien dem Kanton Bern aufzuerlegen.
In verfahrensrechtlicher Hinsicht macht der Beschwerdeführer geltend, er lehne die strafrechtliche Abteilung des Bundesgerichts wegen eines Verstosses gegen den Anspruch auf den gesetzlichen Richter ab.
Der Beschwerdegegner hat auf eine Stellungnahme verzichtet. Die 2. Strafkammer des Obergerichts beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Der Beschwerdeführer hält in seiner Stellungnahme dazu an seinen Anträgen und Rechtsauffassungen fest. Zudem bringt er vor, er lehne Bundesrichter Karlen vorderhand ab.

Erwägungen:
1.
1.1. Beim angefochtenen Urteil handelt es sich um einen kantonal letztinstanzlichen Entscheid in einer Strafsache (Art. 78 Abs. 1 und Art. 80 BGG i.V.m. Art. 59 Abs. 1 StPO). Gemäss Art. 92 Abs. 1 BGG ist gegen selbständig eröffnete Vor- und Zwischenentscheide über die Zuständigkeit und über Ausstandsbegehren die Beschwerde zulässig. Der Begriff des Ausstands im Sinne dieser Bestimmung ist weit zu verstehen. Darunter fallen auch andere Zwischenentscheide über die Zusammensetzung der entscheidenden Behörde. Es handelt sich dabei um gerichtsorganisatorische Fragen, die endgültig entschieden werden sollen, bevor das Verfahren fortgesetzt wird (Urteil 1B_311/2016 vom 10. Oktober 2016 E. 1 mit Hinweisen). Der Beschwerdeführer ist gemäss Art. 81 Abs. 1 BGG zur Beschwerde befugt (<ref-ruling> E. 1.1 S. 5; <ref-ruling> E. 1.3 S. 80; Urteil 6B_1039/2017 vom 13. März 2018 E. 1.2.2; je mit Hinweisen). Auf sein Rechtsmittel ist grundsätzlich einzutreten.
1.2. Nicht einzutreten ist jedoch auf das erst in der Replik vom 20. Februar 2018 eingereichte Ausstandsgesuch gegen Bundesrichter Karlen. Gemäss Art. 36 Abs. 1 BGG hat eine Partei, die den Ausstand einer Gerichtsperson verlangt, dem Gericht ein schriftliches Begehren einzureichen, sobald sie vom Ausstandsgrund Kenntnis erhält. Gestützt darauf sowie auf den Grundsatz von Treu und Glauben (Art. 5 Abs. 3 BV) obliegt es der Partei, den Ausstandsgrund so früh wie möglich, d.h. bei erster Gelegenheit, geltend zu machen (Urteile 8C_41/2013 vom 15. März 2013; 1B_277/2008 vom 13. November 2008 E. 2; je mit Hinweisen). Dies gilt auch, soweit eine Verletzung von Art. 6 EMRK gerügt wird (<ref-ruling> E. 4.3 S. 69; <ref-ruling> E. 4.3 S. 496; je mit Hinweisen). Der Beschwerdeführer legt nicht dar und es nicht ersichtlich, weshalb er sein Ausstandsgesuch, das er einzig mit der Parteizugehörigkeit des von ihm abgelehnten Bundesrichters begründet, nicht bereits in seiner Beschwerde hätte vorbringen können. Der Anspruch ist deshalb verwirkt (vgl. Urteil 1B_513/2017 vom 5. März 2018 E. 3.2 mit Hinweisen). Im Übrigen stellt die Parteizugehörigkeit bzw. die politische Einstellung eines Richters für sich allein weder nach der Rechtsprechung des Bundesgerichts noch des EGMR einen Ausstandsgrund dar (Urteil 6B_1043/2014 vom 25. November 2014 E. 2; Entscheid des EGMR Previti gegen Italien vom 8. Dezember 2009, Nr. 45291/06, Ziff. 258; je mit Hinweisen).
2.
2.1. Der Beschwerdeführer macht vorab geltend, er lehne die von der strafrechtlichen Abteilung des Bundesgerichts bestimmte Besetzung des Spruchkörpers wegen eines Verstosses gegen Art. 6 EMRK wegen Besorgnis der Befangenheit ab. Aus der Begründung dieses Verfahrensantrags geht hervor, dass er das ganze Bundesgericht und nicht lediglich die strafrechtliche Abteilung meint. Auf die Kritik ist deshalb einzugehen, auch wenn im vorliegenden Fall nicht die strafrechtliche, sondern die erste öffentlich-rechtliche Abteilung zuständig ist (Art. 29 Abs. 3 des Reglements vom 20. November 2006 für das Bundesgericht [BGerR; SR 173.110.131]).
2.2. Der Beschwerdeführer macht entgegen dem Wortlaut seines Antrags nicht die Befangenheit einzelner Richter oder einen sonstigen Ausstandsgrund im Sinn von Art. 34 BGG geltend, sondern kritisiert das Verfahren der Spruchkörperbesetzung. Konkret bringt er vor, das Bundesgericht verfüge über keinen Geschäftsverteilungsplan für die Besetzung des Spruchkörpers im Einzelfall. Anders als am Bundesverwaltungsgericht erfolge diese nicht ausschliesslich nach dem Zufallsprinzip. Die in Art. 40 BGerR vorgesehenen Kriterien würden keine Gewähr dafür bieten, dass der Spruchkörper gegen Einflussnahme von Aussen hinreichend geschützt sei. Der Abteilungspräsident habe weitgehend freie Hand, was konventionswidrig sei.
2.3. Das Bundesgericht hat im zur Publikation bestimmten Urteil 6B_1356/2016 vom 5. Januar 2018 E. 2 ausführlich dargelegt, dass die Besetzung des Spruchkörpers am Bundesgericht verfassungs- und konventionskonform geregelt ist. Es bestätigte damit seine Ausführungen im Urteil 1B_491/2016 vom 24. März 2017 E. 1.4. Insbesondere legte es dar, dass in Art. 40 BGerR sachliche Kriterien vorgesehen sind, welche der Abteilungspräsident bei der Besetzung des Spruchkörpers berücksichtigen muss, und dass eine weitere Objektivierung der Besetzung aufgrund der EDV-Applikation "CompCour" erfolgt, welche die weiteren mitwirkenden Richter automatisch bestimmt. Das Bundesgericht hat weiter aufgezeigt, dass weder die Bundesverfassung noch die EMRK verlangen, bei der Spruchkörperbesetzung jegliches Ermessen auszuschliessen. Die Kritik des Beschwerdeführers weckt keine Zweifel an der Richtigkeit dieser Darlegungen und bietet deshalb auch keinen Anlass, darauf zurückzukommen. Die Rüge der Verletzung von Art. 6 EMRK ist unbegründet, und der Spruchkörper ist in der dargestellten üblichen Weise zu besetzen.
3.
3.1. Der Beschwerdeführer rügt eine Verletzung der Begründungspflicht (Art. 29 Abs. 2 BV) und des Rechts auf wirksame Beschwerde (Art. 13 EMRK). Der angefochtene Beschluss setze sich nicht mit der Frage der Verletzung von Art. 6 EMRK auseinander, was dem Ausstandsgesuch die Wirksamkeit im Sinne von Art. 13 EMRK nehme.
3.2. Der Anspruch auf rechtliches Gehör verlangt, dass die Behörde die Vorbringen des vom Entscheid in seiner Rechtsstellung Betroffenen auch tatsächlich hört, prüft und in der Entscheidfindung berücksichtigt. Daraus folgt die Verpflichtung der Behörde, ihren Entscheid zu begründen. Dabei ist es nicht erforderlich, dass sie sich mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Punkte beschränken. Die Begründung muss so abgefasst sein, dass sich der Betroffene über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen kann. In diesem Sinne müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde hat leiten lassen und auf die sich ihr Entscheid stützt (<ref-ruling> E. 5.2 S. 70 f. mit Hinweisen).
3.3. Die Vorinstanz ist auf die Vorbringen des Beschwerdeführers insofern nicht eingetreten, als dieser Oberrichter Bähler gestützt auf Art. 56 lit. f StPO ablehnte, ohne konkret darzutun, weshalb der Anschein der Befangenheit gegeben sei. Ihr Entscheid ist in dieser Hinsicht hinreichend begründet. Insofern, als der Beschwerdeführer eine Verletzung des Anspruchs auf den gesetzlichen Richter im Sinne von Art. 30 Abs. 1 BV und Art. 6 Abs. 1 EMRK geltend gemacht hatte, trat die Vorinstanz auf das Gesuch ein und setzte sich mit der beschwerdeführerischen Kritik auch eingehend auseinander. Aus dem angefochtenen Beschluss ist ohne Weiteres ersichtlich, aus welchen Erwägungen sie zum Schluss kam, der Anspruch sei nicht verletzt. Die Begründungspflicht wurde damit erfüllt. Ebenfalls unbegründet ist die Rüge der Missachtung von Art. 13 EMRK. Dass das vorliegende Verfahren dem Beschwerdeführer keine wirksame Beschwerde ermöglichen soll, ist nicht nachvollziehbar. Art. 13 EMRK ist nicht verletzt, nur weil die von Art. 13 EMRK geforderte Beschwerdeinstanz der Rechtsauffassung des Beschwerdeführers nicht folgt.
4.
4.1. Der Beschwerdeführer kritisiert, am Obergericht bestünden keine gesetzlichen Bestimmungen, die die Richterzuteilung im Voraus abstrakt regelten. Auch gebe es keinen Geschäftsverteilungsplan. Art. 6 EMRK verlange indessen, dass die Besetzung des Gerichts klar und eindeutig geregelt sei. Es sei unzulässig, wenn der Gerichtspräsident insofern über einen weiten Spielraum verfüge. Weiter sei unklar, wer Oberrichter Bähler als Präsident (i.V.) eingesetzt habe. Der Mangel einer hinreichenden gesetzlichen Grundlage betreffe zudem auch den Einsatz von Oberrichter Niklaus, Geiser und Kiener im Ausstandsverfahren.
4.2. Nach Art. 30 Abs. 1 BV hat jede Person, deren Sache in einem gerichtlichen Verfahren beurteilt werden muss, Anspruch auf ein durch Gesetz geschaffenes, zuständiges, unabhängiges und unparteiisches Gericht. Ausnahmegerichte sind untersagt. Mit ähnlichen Worten garantiert Art. 6 Abs. 1 EMRK das Recht jeder Person, dass über Streitigkeiten in Bezug auf ihre zivilrechtlichen Ansprüche und Verpflichtungen oder über eine gegen sie erhobene strafrechtliche Anklage von einem unabhängigen und unparteiischen, auf Gesetz beruhenden Gericht in einem fairen Verfahren, öffentlich und innerhalb angemessener Frist verhandelt wird.
4.3. Die Besetzung der Richterbank am Obergericht Bern ist in Art. 44 f. des Gesetzes des Kantons Bern vom 11. Juni 2009 über die Organisation der Gerichtsbehörden und der Staatsanwaltschaft (GSOG; BSG 161.1) geregelt. Die beiden Bestimmungen haben, soweit vorliegend von Interesse, folgenden Wortlaut:
Art. 44 Abteilungspräsidentin oder Abteilungspräsident
1 Die Abteilungspräsidentin oder der Abteilungspräsident führt die Abteilung und ist verantwortlich für die Fallzuteilung und den Belastungsausgleich.
2 Sie oder er entscheidet über den Beizug von Ersatzrichterinnen und Ersatzrichtern.
2 Sie oder er entscheidet über den Beizug von Ersatzrichterinnen und Ersatzrichtern.
...
Art. 45 Spruchkörper
1 Die Urteilsfindung erfolgt in Dreierbesetzung, soweit das Gesetz nichts anderes bestimmt.
1 Die Urteilsfindung erfolgt in Dreierbesetzung, soweit das Gesetz nichts anderes bestimmt.
...
4.4. Die Vorinstanz führt aus, dem Beschwerdeführer sei die Anwendung von Art. 44 und 45 GSOG bereits einlässlich erläutert worden. Aus dem Staatskalender sei weiter ersichtlich, dass der Gesuchsgegner Mitglied der Beschwerdekammer sei. Dass er im Beschwerdeverfahren als Präsident i.V. (Verfahrensleiter) beteiligt sei, liege einerseits daran, dass Oberrichterin B._ als beschuldigte Person nicht selber als Verfahrensleiterin amten könne, und andererseits an der Verfügbarkeit der Mitglieder der Beschwerdekammer.
In ihrer Vernehmlassung im Verfahren vor Bundesgericht ergänzt die Vorinstanz, der Beschwerdeführer habe im Oktober 2017 bei der Strafabteilung insgesamt zehn Ausstandsgesuche in unterschiedlichen Verfahren eingereicht, was ein koordiniertes Vorgehen erfordert habe. Bei den Oberrichtern Niklaus, Geiser und Kiener habe es sich um die einzigen verbleibenden Mitglieder der Strafkammern gehandelt, die von den Ausstandsbegehren nicht betroffen gewesen seien.
4.5. Im zur Publikation vorgesehenen Urteil 1B_517/2017 vom 13. März 2018, das ebenfalls das Obergericht Bern betrifft, hat das Bundesgericht ausführlich dargelegt, dass die kritisierte Spruchkörperbildung mit den verfassungs- und konventionsrechtlichen Vorgaben vereinbar ist. Ausschlaggebend war, dass sich die Kriterien für die Spruchkörperbildung in hinreichender Klarheit aus Art. 44 Abs. 1 GSOG und der dazugehörigen Praxis ergeben. Das Bundesgericht setzte sich auch mit der Kritik an der Wahl der für das Ausstandsverfahren zuständigen Richter auseinander und stellte fest, dass sich das Obergericht auch in dieser Hinsicht von sachlichen Gesichtspunkten hatte leiten lassen, nämlich der Regel, dass konnexe Fälle im Allgemeinen vom gleichen Spruchkörper zu behandeln sind sowie der Regel, dass von einem Ausstandsgesuch betroffene Personen am Entscheid über dessen Begründetheit nicht mitwirken (zum Ganzen: a.a.O., E. 5-6, insbesondere E. 6.3). Die vom Beschwerdeführer vorgetragene Kritik an den betreffenden Erwägungen, die auch im vorliegenden Verfahren Gültigkeit beanspruchen, gibt keinen Anlass, darauf zurückzukommen.
5.
Die Beschwerde ist deshalb abzuweisen, soweit darauf einzutreten ist.
Der Beschwerdeführer stellt ein Gesuch um unentgeltliche Rechtspflege. Er hat seine finanziellen Verhältnisse jedoch nicht hinreichend offengelegt, als dass beurteilt werden könnte, ob er nicht über die erforderlichen Mittel verfügt (Art. 64 Abs. 1 BGG). Der Hinweis, er habe bereits in anderen Verfahren Gerichtskostenvorschüsse leisten müssen und könne sich die Verfahren finanziell nicht mehr leisten, reicht dafür nicht. Das Gesuch ist deshalb abzuweisen.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
4.
Es wird keine Parteientschädigung zugesprochen.
5.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Bern, 2. Strafkammer, schriftlich mitgeteilt.
Lausanne, 11. Mai 2018
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Merkli
Der Gerichtsschreiber: Dold