Sachverhalt:
A.
Am 20. November 2017 erliess die Staatsanwaltschaft Bern eine Nichtanhandnahmeverfügung in Bezug auf den gegen die verantwortlichen Personen der C._ AG und der D._ GmbH gerichteten Vorwurf des Betrugs und anderer Delikte. Dagegen erhoben A._ und B._ Beschwerde ans Obergericht Bern. Vorab machten sie geltend, sie lehnten das Gericht wegen der Besorgnis der Befangenheit ab.
Die mit der Sache befasste Verfahrensleitung der Beschwerdekammer in Strafsachen leitete das mit der Beschwerde verbundene Ausstandsgesuch an die Strafkammern des Obergerichts weiter. Die 2. Strafkammer beschloss in der Folge unter Mitwirkung der Oberrichter Niklaus, Geiser und Kiener am 11. Dezember 2017, das Ausstandsgesuch abzuweisen, soweit darauf einzutreten sei.
B.
Mit Beschwerde in Strafsachen ans Bundesgericht vom 21. Dezember 2017 beantragen A._ und B._, der Beschluss des Obergerichts sei aufzuheben und das Ausstandsgesuch gutzuheissen. Die Sache sei an die Vorinstanz zurückzuweisen, damit diese in einer auf Gesetz beruhenden Besetzung neu entscheide, wobei die Oberrichter Niklaus, Geiser und Kiener in den Ausstand zu treten hätten. Die Kosten des Ausstandsverfahrens seien dem Kanton Bern aufzuerlegen.
In verfahrensrechtlicher Hinsicht machen die Beschwerdeführer geltend, sie lehnten die strafrechtliche Abteilung des Bundesgerichts wegen eines Verstosses gegen den Anspruch auf den gesetzlichen Richter ab.
Die Präsidentin der Beschwerdekammer verzichtet auf eine Vernehmlassung und weist darauf hin, dass die vollständige Zusammensetzung des Spruchkörpers noch nicht feststehe. Die 2. Strafkammer des Obergerichts beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Der Beschwerdeführer hält in seiner Stellungnahme dazu an seinen Anträgen und Rechtsauffassungen fest.

Erwägungen:
1.
Beim angefochtenen Urteil handelt es sich um einen kantonal letztinstanzlichen Entscheid in einer Strafsache (Art. 78 Abs. 1 und Art. 80 BGG i.V.m. <ref-law>). Gemäss <ref-law> ist gegen selbständig eröffnete Vor- und Zwischenentscheide über die Zuständigkeit und über Ausstandsbegehren die Beschwerde zulässig. Der Begriff des Ausstands im Sinne dieser Bestimmung ist weit zu verstehen. Darunter fallen auch andere Zwischenentscheide über die Zusammensetzung der entscheidenden Behörde. Es handelt sich dabei um gerichtsorganisatorische Fragen, die endgültig entschieden werden sollen, bevor das Verfahren fortgesetzt wird (Urteil 1B_311/2016 vom 10. Oktober 2016 E. 1 mit Hinweisen). Die Beschwerdeführer sind gemäss <ref-law> zur Beschwerde befugt (<ref-ruling> E. 1.1 S. 5; <ref-ruling> E. 1.3 S. 80; Urteil 6B_1039/2017 vom 13. März 2018 E. 1.2.2; je mit Hinweisen). Auf ihr Rechtsmittel ist einzutreten.
2.
2.1. Die Beschwerdeführer machen vorab geltend, sie lehnten die von der strafrechtlichen Abteilung des Bundesgerichts bestimmte Besetzung des Spruchkörpers wegen eines Verstosses gegen Art. 6 EMRK wegen Besorgnis der Befangenheit ab. Aus der Begründung dieses Verfahrensantrags geht hervor, dass sie das ganze Bundesgericht und nicht lediglich die strafrechtliche Abteilung meint. Auf die Kritik ist deshalb einzugehen, auch wenn im vorliegenden Fall nicht die strafrechtliche, sondern die erste öffentlich-rechtliche Abteilung zuständig ist (Art. 29 Abs. 3 des Reglements vom 20. November 2006 für das Bundesgericht [BGerR; SR 173.110.131]).
2.2. Die Beschwerdeführer machen entgegen dem Wortlaut ihres Antrags nicht die Befangenheit einzelner Richter oder einen sonstigen Ausstandsgrund im Sinne von <ref-law> geltend, sondern kritisieren das Verfahren der Spruchkörperbesetzung. Konkret bringen sie vor, das Bundesgericht verfüge über keinen Geschäftsverteilungsplan für die Besetzung des Spruchkörpers im Einzelfall. Anders als am Bundesverwaltungsgericht erfolge diese nicht ausschliesslich nach dem Zufallsprinzip. Die in <ref-law> vorgesehenen Kriterien würden keine Gewähr dafür bieten, dass der Spruchkörper gegen Einflussnahme von Aussen hinreichend geschützt sei. Der Abteilungspräsident habe weitgehend freie Hand, was konventionswidrig sei.
2.3. Das Bundesgericht hat im zur Publikation bestimmten Urteil 6B_1356/2016 vom 5. Januar 2018 E. 2 ausführlich dargelegt, dass die Besetzung des Spruchkörpers am Bundesgericht verfassungs- und konventionskonform geregelt ist. Es bestätigte damit seine Ausführungen im Urteil 1B_491/2016 vom 24. März 2017 E. 1.4. Insbesondere legte es dar, dass in <ref-law> sachliche Kriterien vorgesehen sind, welche der Abteilungspräsident bei der Besetzung des Spruchkörpers berücksichtigen muss, und dass eine weitere Objektivierung der Besetzung aufgrund der EDV-Applikation "CompCour" erfolgt, welche die weiteren mitwirkenden Richter automatisch bestimmt. Das Bundesgericht hat weiter aufgezeigt, dass weder die Bundesverfassung noch die EMRK verlangen, bei der Spruchkörperbesetzung jegliches Ermessen auszuschliessen. Die Kritik der Beschwerdeführer weckt keine Zweifel an der Richtigkeit dieser Darlegungen und bietet deshalb auch keinen Anlass, darauf zurückzukommen. Die Rüge der Verletzung von Art. 6 EMRK ist unbegründet, und der Spruchkörper ist in der dargestellten üblichen Weise zu besetzen.
3.
3.1. Die Beschwerdeführer rügen eine Verletzung der Begründungspflicht (<ref-law>) und des Rechts auf wirksame Beschwerde (Art. 13 EMRK). Der angefochtene Beschluss setze sich nicht mit der Frage der Verletzung von Art. 6 EMRK auseinander, was dem Ausstandsgesuch die Wirksamkeit im Sinne von Art. 13 EMRK nehme.
3.2. Der Anspruch auf rechtliches Gehör verlangt, dass die Behörde die Vorbringen des vom Entscheid in seiner Rechtsstellung Betroffenen auch tatsächlich hört, prüft und in der Entscheidfindung berücksichtigt. Daraus folgt die Verpflichtung der Behörde, ihren Entscheid zu begründen. Dabei ist es nicht erforderlich, dass sie sich mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Punkte beschränken. Die Begründung muss so abgefasst sein, dass sich der Betroffene über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen kann. In diesem Sinne müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde hat leiten lassen und auf die sich ihr Entscheid stützt (<ref-ruling> E. 5.2 S. 70 f. mit Hinweisen).
3.3. Die Vorinstanz ist auf die Vorbringen der Beschwerdeführer insofern nicht eingetreten, als diese die Besetzung der Beschwerdekammer ablehnten, ohne konkret darzutun, weshalb der Anschein der Befangenheit gegeben sei. Ihr Entscheid ist in dieser Hinsicht hinreichend begründet. Insofern, als die Beschwerdeführer eine Verletzung des Anspruchs auf den gesetzlichen Richter im Sinne von <ref-law> und Art. 6 Abs. 1 EMRK geltend gemacht hatte, trat die Vorinstanz auf das Gesuch ein und setzte sich mit der beschwerdeführerischen Kritik auch eingehend auseinander. Aus dem angefochtenen Beschluss ist ohne Weiteres ersichtlich, aus welchen Erwägungen sie zum Schluss kam, der Anspruch sei nicht verletzt. Die Begründungspflicht wurde damit erfüllt. Ebenfalls unbegründet ist die Rüge der Missachtung von Art. 13 EMRK. Dass das vorliegende Verfahren dem Beschwerdeführer keine wirksame Beschwerde ermöglichen soll, ist nicht nachvollziehbar. Art. 13 EMRK ist nicht verletzt, nur weil die von Art. 13 EMRK geforderte Beschwerdeinstanz der Rechtsauffassung der Beschwerdeführer nicht folgt.
4.
4.1. Die Beschwerdeführer kritisieren, am Obergericht bestünden keine gesetzlichen Bestimmungen, die die Richterzuteilung im Voraus abstrakt regelten. Auch gebe es keinen Geschäftsverteilungsplan. Art. 6 EMRK verlange indessen, dass die Besetzung des Gerichts klar und eindeutig geregelt sei. Es sei unzulässig, wenn der Gerichtspräsident insofern über einen weiten Spielraum verfüge. Der Mangel einer hinreichenden gesetzlichen Grundlage betreffe auch den Einsatz von Oberrichter Niklaus, Geiser und Kiener im Ausstandsverfahren. Es sei insbesondere nicht klar, auf welcher Grundlage Oberrichter Niklaus als Präsident i.V. eingesetzt worden sei.
4.2. Nach <ref-law> hat jede Person, deren Sache in einem gerichtlichen Verfahren beurteilt werden muss, Anspruch auf ein durch Gesetz geschaffenes, zuständiges, unabhängiges und unparteiisches Gericht. Ausnahmegerichte sind untersagt. Mit ähnlichen Worten garantiert Art. 6 Abs. 1 EMRK das Recht jeder Person, dass über Streitigkeiten in Bezug auf ihre zivilrechtlichen Ansprüche und Verpflichtungen oder über eine gegen sie erhobene strafrechtliche Anklage von einem unabhängigen und unparteiischen, auf Gesetz beruhenden Gericht in einem fairen Verfahren, öffentlich und innerhalb angemessener Frist verhandelt wird.
4.3. Die Besetzung der Richterbank am Obergericht Bern ist in Art. 44 f. des Gesetzes des Kantons Bern vom 11. Juni 2009 über die Organisation der Gerichtsbehörden und der Staatsanwaltschaft (GSOG; BSG 161.1) geregelt. Die beiden Bestimmungen haben, soweit vorliegend von Interesse, folgenden Wortlaut:
Art. 44 Abteilungspräsidentin oder Abteilungspräsident
1 Die Abteilungspräsidentin oder der Abteilungspräsident führt die Abteilung und ist verantwortlich für die Fallzuteilung und den Belastungsausgleich.
2 Sie oder er entscheidet über den Beizug von Ersatzrichterinnen und Ersatzrichtern.
Art. 45 Spruchkörper
1 Die Urteilsfindung erfolgt in Dreierbesetzung, soweit das Gesetz nichts anderes bestimmt.
4.4. Die Vorinstanz führt aus, Rechtsanwalt Lücke, der eine ganze Reihe von Ausstandsgesuchen in verschiedenen Verfahren eingereicht habe, sei die Anwendung von Art. 44 und 45 GSOG bereits einlässlich erläutert worden. Mit Schreiben vom 25. September 2017 habe ihm Oberrichterin Schnell erklärt, dass sie als Präsidentin der Beschwerdekammer in der Regel sowohl in der Instruktions- als auch in der Entscheidphase beteiligt sei. Welche weiteren Kammermitglieder zum Entscheid beigezogen werden könnten, zeige sich in der Regel erst im Zeitpunkt des Beginns der Zirkulation, weil erst dann sicher sei, wer von den in der Beschwerdekammer tätigen Oberrichtern anwesend und auch tatsächlich verfügbar sei. Mit Schreiben vom 3. Oktober 2017 habe Oberrichterin Schnell festgehalten, dass es keine Listenplätze oder "Excel"-Tabellen gebe und dass sie die Kammerzusammensetzung im betreffenden Verfahren nach dem Kriterium der Verfügbarkeit vorgenommen habe.
In ihrer Vernehmlassung im Verfahren vor Bundesgericht ergänzt die Vorinstanz, Rechtsanwalt Lücke habe im Oktober und im November 2017 bei der Strafabteilung insgesamt 13 Ausstandsgesuche in unterschiedlichen Verfahren eingereicht, was ein koordiniertes Vorgehen erfordert habe. Bei den Oberrichtern Niklaus, Geiser und Kiener habe es sich um die einzigen verbleibenden Mitglieder der Strafkammern gehandelt, die von den Ausstandsbegehren nicht betroffen gewesen seien.
4.5. Im zur Publikation vorgesehenen Urteil 1B_517/2017 vom 13. März 2018, das ebenfalls das Obergericht Bern betrifft, hat das Bundesgericht ausführlich dargelegt, dass die kritisierte Spruchkörperbildung mit den verfassungs- und konventionsrechtlichen Vorgaben vereinbar ist. Ausschlaggebend war, dass sich die Kriterien für die Spruchkörperbildung in hinreichender Klarheit aus Art. 44 Abs. 1 GSOG und der dazugehörigen Praxis ergeben. Das Bundesgericht setzte sich auch mit der Kritik an der Wahl der für das Ausstandsverfahren zuständigen Richter auseinander und stellte fest, dass sich das Obergericht auch in dieser Hinsicht von sachlichen Gesichtspunkten hatte leiten lassen, nämlich der Regel, dass konnexe Fälle im Allgemeinen vom gleichen Spruchkörper zu behandeln sind sowie der Regel, dass von einem Ausstandsgesuch betroffene Personen am Entscheid über dessen Begründetheit nicht mitwirken (zum Ganzen: a.a.O., E. 5-6, insbesondere E. 6.3). Die von den Beschwerdeführern vorgetragene Kritik an den betreffenden Erwägungen, die auch im vorliegenden Verfahren Gültigkeit beanspruchen, gibt keinen Anlass, darauf zurückzukommen.
5.
Die Beschwerde ist abzuweisen.
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten den Beschwerdeführern aufzuerlegen (<ref-law>). Es ist keine Parteientschädigung zuzusprechen (Art. 68 Abs. 1-3 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 1'000.-- werden den Beschwerdeführern auferlegt.
3.
Es wird keine Parteientschädigung zugesprochen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Bern, 2. Strafkammer, schriftlich mitgeteilt.
Lausanne, 11. Mai 2018
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Merkli
Der Gerichtsschreiber: Dold