Sachverhalt:
A.
Am 8. Juni 2017 erliess die Staatsanwaltschaft Bern eine Nichtanhandnahmeverfügung in Bezug auf den gegen Oberrichterin B._, Oberrichter C._ und D._ sowie Obergerichtsschreiber E._ gerichteten Vorwurf der Verleumdung und anderer Delikte. A._, der die Strafanzeige erstattet hatte, erhob hiergegen Beschwerde ans Obergericht Bern. Zu Beginn des Beschwerdeverfahrens machte er geltend, er lehne Oberrichter Trenkel und Oberrichterin Bratschi ab. Die 1. Strafkammer des Obergerichts wies die Ausstandsgesuche mit Beschlüssen vom 15. und 29. August 2017 ab. Mit Beschluss vom 7. September 2017 wies die Beschwerdekammer in Strafsachen des Obergerichts die Beschwerde gegen die Nichtanhandnahme ebenfalls ab. In der Folge reichte A._ ein Revisionsgesuch ein, wobei er vorab geltend mache, er lehne das Gericht wegen Besorgnis der Befangenheit ab. Das Revisionsgesuch wurde an die beiden Strafkammern weitergeleitet und dort der 1. Strafkammer in der Besetzung mit Oberrichterin Hubschmid, Oberrichter Vicari und Zihlmann zugeteilt. Das Ausstandsgesuch wurde von der 1. Strafkammer in der Besetzung mit Oberrichter Niklaus, Geiser und Kiener mit Beschluss vom 22. November 2017 abgewiesen, soweit darauf eingetreten wurde.
B.
Mit Beschwerde in Strafsachen ans Bundesgericht vom 6. Dezember 2017 beantragt A._, der Beschluss des Obergerichts sei aufzuheben und das Ausstandsgesuch gutzuheissen. Die Sache sei an die Vorinstanz zurückzuweisen, damit diese in einer auf Gesetz beruhenden Besetzung neu entscheide, wobei die Oberrichter Niklaus, Geiser und Kiener in den Ausstand zu treten hätten. Die Kosten des Ausstandsverfahrens seien dem Kanton Bern aufzuerlegen.
In verfahrensrechtlicher Hinsicht macht der Beschwerdeführer geltend, er lehne die strafrechtliche Abteilung des Bundesgerichts wegen eines Verstosses gegen den Anspruch auf den gesetzlichen Richter ab.
Der Beschwerdegegner hat auf eine Stellungnahme verzichtet. Die 2. Strafkammer des Obergerichts beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Der Beschwerdeführer hält in seiner Stellungnahme dazu an seinen Anträgen und Rechtsauffassungen fest. Zudem bringt er vor, er lehne Bundesrichter Karlen vorderhand ab.

Erwägungen:
1.
1.1. Beim angefochtenen Urteil handelt es sich um einen kantonal letztinstanzlichen Entscheid in einer Strafsache (Art. 78 Abs. 1 und Art. 80 BGG i.V.m. <ref-law>). Gemäss <ref-law> ist gegen selbständig eröffnete Vor- und Zwischenentscheide über die Zuständigkeit und über Ausstandsbegehren die Beschwerde zulässig. Der Begriff des Ausstands im Sinne dieser Bestimmung ist weit zu verstehen. Darunter fallen auch andere Zwischenentscheide über die Zusammensetzung der entscheidenden Behörde. Es handelt sich dabei um gerichtsorganisatorische Fragen, die endgültig entschieden werden sollen, bevor das Verfahren fortgesetzt wird (Urteil 1B_311/2016 vom 10. Oktober 2016 E. 1 mit Hinweisen). Der Beschwerdeführer ist gemäss <ref-law> zur Beschwerde befugt (<ref-ruling> E. 1.1 S. 5; <ref-ruling> E. 1.3 S. 80; Urteil 6B_1039/2017 vom 13. März 2018 E. 1.2.2; je mit Hinweisen). Auf sein Rechtsmittel ist grundsätzlich einzutreten.
1.2. Nicht einzutreten ist jedoch auf das erst in der Replik vom 20. Februar 2018 eingereichte Ausstandsgesuch gegen Bundesrichter Karlen. Gemäss <ref-law> hat eine Partei, die den Ausstand einer Gerichtsperson verlangt, dem Gericht ein schriftliches Begehren einzureichen, sobald sie vom Ausstandsgrund Kenntnis erhält. Gestützt darauf sowie auf den Grundsatz von Treu und Glauben (<ref-law>) obliegt es der Partei, den Ausstandsgrund so früh wie möglich, d.h. bei erster Gelegenheit, geltend zu machen (Urteile 8C_41/2013 vom 15. März 2013; 1B_277/2008 vom 13. November 2008 E. 2; je mit Hinweisen). Dies gilt auch, soweit eine Verletzung von Art. 6 EMRK gerügt wird (<ref-ruling> E. 4.3 S. 69; <ref-ruling> E. 4.3 S. 496; je mit Hinweisen). Der Beschwerdeführer legt nicht dar und es nicht ersichtlich, weshalb er sein Ausstandsgesuch, das er einzig mit der Parteizugehörigkeit des von ihm abgelehnten Bundesrichters begründet, nicht bereits in seiner Beschwerde hätte vorbringen können. Der Anspruch ist deshalb verwirkt (vgl. Urteil 1B_513/2017 vom 5. März 2018 E. 3.2 mit Hinweisen). Im Übrigen stellt die Parteizugehörigkeit bzw. die politische Einstellung eines Richters für sich allein weder nach der Rechtsprechung des Bundesgerichts noch des EGMR einen Ausstandsgrund dar (Urteil 6B_1043/2014 vom 25. November 2014 E. 2; Entscheid des EGMR Previti gegen Italien vom 8. Dezember 2009, Nr. 45291/06, Ziff. 258; je mit Hinweisen).
2.
2.1. Der Beschwerdeführer macht vorab geltend, er lehne die von der strafrechtlichen Abteilung des Bundesgerichts bestimmte Besetzung des Spruchkörpers wegen eines Verstosses gegen Art. 6 EMRK wegen Besorgnis der Befangenheit ab. Aus der Begründung dieses Verfahrensantrags geht hervor, dass er das ganze Bundesgericht und nicht lediglich die strafrechtliche Abteilung meint. Auf die Kritik ist deshalb einzugehen, auch wenn im vorliegenden Fall nicht die strafrechtliche, sondern die erste öffentlich-rechtliche Abteilung zuständig ist (Art. 29 Abs. 3 des Reglements vom 20. November 2006 für das Bundesgericht [BGerR; SR 173.110.131]).
2.2. Der Beschwerdeführer macht entgegen dem Wortlaut seines Antrags nicht die Befangenheit einzelner Richter oder einen sonstigen Ausstandsgrund im Sinn von <ref-law> geltend, sondern kritisiert das Verfahren der Spruchkörperbesetzung. Konkret bringt er vor, das Bundesgericht verfüge über keinen Geschäftsverteilungsplan für die Besetzung des Spruchkörpers im Einzelfall. Anders als am Bundesverwaltungsgericht erfolge diese nicht ausschliesslich nach dem Zufallsprinzip. Die in <ref-law> vorgesehenen Kriterien würden keine Gewähr dafür bieten, dass der Spruchkörper gegen Einflussnahme von Aussen hinreichend geschützt sei. Der Abteilungspräsident habe weitgehend freie Hand, was konventionswidrig sei.
2.3. Das Bundesgericht hat im zur Publikation bestimmten Urteil 6B_1356/2016 vom 5. Januar 2018 E. 2 ausführlich dargelegt, dass die Besetzung des Spruchkörpers am Bundesgericht verfassungs- und konventionskonform geregelt ist. Es bestätigte damit seine Ausführungen im Urteil 1B_491/2016 vom 24. März 2017 E. 1.4. Insbesondere legte es dar, dass in <ref-law> sachliche Kriterien vorgesehen sind, welche der Abteilungspräsident bei der Besetzung des Spruchkörpers berücksichtigen muss, und dass eine weitere Objektivierung der Besetzung aufgrund der EDV-Applikation "CompCour" erfolgt, welche die weiteren mitwirkenden Richter automatisch bestimmt. Das Bundesgericht hat weiter aufgezeigt, dass weder die Bundesverfassung noch die EMRK verlangen, bei der Spruchkörperbesetzung jegliches Ermessen auszuschliessen. Die Kritik des Beschwerdeführers weckt keine Zweifel an der Richtigkeit dieser Darlegungen und bietet deshalb auch keinen Anlass, darauf zurückzukommen. Die Rüge der Verletzung von Art. 6 EMRK ist unbegründet, und der Spruchkörper ist in der dargestellten üblichen Weise zu besetzen.
3.
3.1. Der Beschwerdeführer rügt eine Verletzung der Begründungspflicht (<ref-law>) und des Rechts auf wirksame Beschwerde (Art. 13 EMRK). Der angefochtene Beschluss setze sich nicht mit der Frage der Verletzung von Art. 6 EMRK auseinander, was dem Ausstandsgesuch die Wirksamkeit im Sinne von Art. 13 EMRK nehme.
3.2. Der Anspruch auf rechtliches Gehör verlangt, dass die Behörde die Vorbringen des vom Entscheid in seiner Rechtsstellung Betroffenen auch tatsächlich hört, prüft und in der Entscheidfindung berücksichtigt. Daraus folgt die Verpflichtung der Behörde, ihren Entscheid zu begründen. Dabei ist es nicht erforderlich, dass sie sich mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Punkte beschränken. Die Begründung muss so abgefasst sein, dass sich der Betroffene über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen kann. In diesem Sinne müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde hat leiten lassen und auf die sich ihr Entscheid stützt (<ref-ruling> E. 5.2 S. 70 f. mit Hinweisen).
3.3. Die Vorinstanz ist auf die Vorbringen des Beschwerdeführers insofern nicht eingetreten, als dieser die Beschwerdegegner ablehnte, ohne konkret darzutun, weshalb der Anschein der Befangenheit gegeben sei. Ihr Entscheid ist in dieser Hinsicht hinreichend begründet. Insofern, als der Beschwerdeführer eine Verletzung des Anspruchs auf den gesetzlichen Richter im Sinne von <ref-law> und Art. 6 Abs. 1 EMRK geltend gemacht hatte, trat die Vorinstanz auf das Gesuch ein und setzte sich mit der beschwerdeführerischen Kritik auch eingehend auseinander. Aus dem angefochtenen Beschluss ist ohne Weiteres ersichtlich, aus welchen Erwägungen sie zum Schluss kam, der Anspruch sei nicht verletzt. Die Begründungspflicht wurde damit erfüllt. Ebenfalls unbegründet ist die Rüge der Missachtung von Art. 13 EMRK. Dass das vorliegende Verfahren dem Beschwerdeführer keine wirksame Beschwerde ermöglichen soll, ist nicht nachvollziehbar. Art. 13 EMRK ist nicht verletzt, nur weil die von Art. 13 EMRK geforderte Beschwerdeinstanz der Rechtsauffassung des Beschwerdeführers nicht folgt.
4.
4.1. Der Beschwerdeführer kritisiert, am Obergericht bestünden keine gesetzlichen Bestimmungen, die die Richterzuteilung im Voraus abstrakt regelten. Auch gebe es keinen Geschäftsverteilungsplan. Art. 6 EMRK verlange indessen, dass die Besetzung des Gerichts klar und eindeutig geregelt sei. Es sei unzulässig, wenn der Gerichtspräsident insofern über einen weiten Spielraum verfüge. Eine "Excel"-Tabelle genüge den Vorgaben der EMRK nicht. Nach Art. 44 Abs. 1 des Gesetzes des Kantons Bern vom 11. Juni 2009 über die Organisation der Gerichtsbehörden und der Staatsanwaltschaft (GSOG; BSG 161.1) sei der Abteilungspräsident für die Fallzuteilung und den Belastungsausgleich zuständig. Durch die Verwendung einer "Excel"-Tabelle ohne Beteiligung der Oberrichter teile das Obergericht die Fälle im Widerspruch zu spezifischem Verfahrensrecht zu, was dem umissverständlichen Wortlaut von Art. 44 Abs. 1 GSOG widerspreche. Es sei zudem offensichtlich, dass das Obergericht selbst keine Verfahrensvorschrift benennen könne, welche die Einsetzung eines Präsidenten (i.V.) gesetzlich bestimme. Schliesslich habe das Obergericht am 8. November 2017 über acht Ausstandsbegehren in derselben Besetzung entschieden. Dies bestätige, dass der Anspruch auf den gesetzlichen Richter verletzt worden sei.
4.2. Nach <ref-law> hat jede Person, deren Sache in einem gerichtlichen Verfahren beurteilt werden muss, Anspruch auf ein durch Gesetz geschaffenes, zuständiges, unabhängiges und unparteiisches Gericht. Ausnahmegerichte sind untersagt. Mit ähnlichen Worten garantiert Art. 6 Abs. 1 EMRK das Recht jeder Person, dass über Streitigkeiten in Bezug auf ihre zivilrechtlichen Ansprüche und Verpflichtungen oder über eine gegen sie erhobene strafrechtliche Anklage von einem unabhängigen und unparteiischen, auf Gesetz beruhenden Gericht in einem fairen Verfahren, öffentlich und innerhalb angemessener Frist verhandelt wird.
4.3. Die Besetzung der Richterbank am Obergericht Bern ist in Art. 44 f. GSOG geregelt. Die beiden Bestimmungen haben, soweit vorliegend von Interesse, folgenden Wortlaut:
Art. 44 Abteilungspräsidentin oder Abteilungspräsident
1 Die Abteilungspräsidentin oder der Abteilungspräsident führt die Abteilung und ist verantwortlich für die Fallzuteilung und den Belastungsausgleich.
2 Sie oder er entscheidet über den Beizug von Ersatzrichterinnen und Ersatzrichtern.
2 Sie oder er entscheidet über den Beizug von Ersatzrichterinnen und Ersatzrichtern.
...
Art. 45 Spruchkörper
1 Die Urteilsfindung erfolgt in Dreierbesetzung, soweit das Gesetz nichts anderes bestimmt.
1 Die Urteilsfindung erfolgt in Dreierbesetzung, soweit das Gesetz nichts anderes bestimmt.
...
4.4. Die Vorinstanz führt aus, dem Beschwerdeführer sei die Anwendung von Art. 44 und 45 GSOG bereits einlässlich erläutert worden. Den beiden Strafkammern würden die eingehenden Geschäfte abwechslungsweise je zur Hälfte zugeteilt. Kammerintern würden die Fälle fortlaufend nach vom Sekretariat bewirtschafteten Listen mit allen möglichen Zusammensetzungen und somit gestützt auf das Zufallsprinzip zugeteilt, wobei die Anzahl Fälle, die ein Richter als Referent bearbeite, vom Umfang der Tätigkeit für die Strafkammern abhänge. Die Mitglieder der 1. Strafkammer seien im Staatskalender ersichtlich.
In ihrer Stellungnahme vom 17. Januar 2018 ergänzt die Vorinstanz, es treffe zu, dass die erwähnten acht Ausstandsgesuche nicht hälftig den beiden Strafkammern zugeteilt worden seien. Dies sei darauf zurückzuführen, dass ein koordiniertes Vorgehen erforderlich gewesen sei. Bei Oberrichter Niklaus, Geiser und Kiener handle es sich um die einzigen verbleibenden Mitglieder der Strafkammern, die von den eingereichten Ausstandsbegehren nicht betroffen seien.
4.5. Im zur Publikation vorgesehenen Urteil 1B_517/2017 vom 13. März 2018, das ebenfalls das Obergericht Bern betrifft, hat das Bundesgericht ausführlich dargelegt, dass die kritisierte Spruchkörperbildung mit den verfassungs- und konventionsrechtlichen Vorgaben vereinbar ist. Ausschlaggebend war, dass sich die Kriterien für die Spruchkörperbildung in hinreichender Klarheit aus Art. 44 Abs. 1 GSOG und der dazugehörigen Praxis ergeben. Jene Ausführungen, welche die Spruchkörperbildung in der Beschwerdekammer zum Gegenstand hatten, gelten vorliegend, wo es um die Strafkammern geht, umso mehr, zumal die Spruchkörperbildung gemäss den Darlegungen der Vorinstanz hier nach Listen und gestützt auf das Zufallsprinzips erfolgt. Dass dieses Vorgehen Art. 44 Abs. 1 GSOG widerspricht, ist nicht ersichtlich. Nach den vorinstanzlichen Ausführungen kommt dem Sekretariat bei der Verwaltung der Listen kein Ermessen zu (vgl. Urteil 1C_187/2017 vom 20. März 2018 E. 7).
Das Bundesgericht setzte sich auch mit der Kritik an der Wahl der für das Ausstandsverfahren zuständigen Richter auseinander und stellte fest, dass sich das Obergericht auch in dieser Hinsicht von sachlichen Gesichtspunkten hatte leiten lassen, nämlich der Regel, dass konnexe Fälle im Allgemeinen vom gleichen Spruchkörper zu behandeln sind sowie der Regel, dass von einem Ausstandsgesuch betroffene Personen am Entscheid über dessen Begründetheit nicht mitwirken (zum Ganzen: Urteil 1B_517/2017 vom 13. März 2018 E. 5-6, insbesondere E. 6.3). Die vom Beschwerdeführer vorgetragene Kritik an den betreffenden Erwägungen, die auch im vorliegenden Verfahren Gültigkeit beanspruchen, gibt keinen Anlass, darauf zurückzukommen.
5.
Die Beschwerde ist deshalb abzuweisen, soweit darauf einzutreten ist.
Der Beschwerdeführer stellt ein Gesuch um unentgeltliche Rechtspflege. Er hat seine finanziellen Verhältnisse jedoch nicht hinreichend offengelegt, als dass beurteilt werden könnte, ob er nicht über die erforderlichen Mittel verfügt (<ref-law>). Der Hinweis, er habe bereits in anderen Verfahren Gerichtskostenvorschüsse leisten müssen und könne sich die Verfahren finanziell nicht mehr leisten, reicht dafür nicht. Das Gesuch ist deshalb abzuweisen.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
4.
Es wird keine Parteientschädigung zugesprochen.
5.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Bern, 1. Strafkammer, schriftlich mitgeteilt.
Lausanne, 11. Mai 2018
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Merkli
Der Gerichtsschreiber: Dold