Sachverhalt: A. Am 14. September 2017 erliess die Staatsanwaltschaft Bern eine Nichtanhandnahmeverfügung in Bezug auf den gegen die Oberrichter B._ und C._ gerichteten Vorwurf des Amtsmissbrauchs und der Begünstigung. A._, der die Strafanzeige erstattet und sich als Privatkläger konstituiert hatte, erhob hiergegen Beschwerde ans Obergericht Bern. In seiner Beschwerde machte er vorab geltend, er lehne das Gericht in seiner jetzigen Besetzung wegen der Besorgnis der Befangenheit ab. Die mit der Sache befasste Verfahrensleitung der Beschwerdekammer in Strafsachen leitete das mit der Beschwerde verbundene Ausstandsgesuch an die Strafkammern des Obergerichts weiter. Die 2. Strafkammer beschloss in der Folge unter Mitwirkung der Oberrichter Niklaus, Geiser und Kiener am 3. November 2017, das Ausstandsgesuch abzuweisen, soweit darauf einzutreten sei. B. Mit Beschwerde in Strafsachen ans Bundesgericht vom 6. Dezember 2017 beantragt A._, der Beschluss des Obergerichts sei aufzuheben und das Ausstandsgesuch gutzuheissen. Die Sache sei an die Vorinstanz zurückzuweisen, damit diese in einer auf Gesetz beruhenden Besetzung neu entscheide, wobei die Oberrichter Niklaus, Geiser und Kiener in den Ausstand zu treten hätten. Die Kosten des Ausstandsverfahrens seien dem Kanton Bern aufzuerlegen. In verfahrensrechtlicher Hinsicht macht der Beschwerdeführer geltend, er lehne die strafrechtliche Abteilung des Bundesgerichts wegen eines Verstosses gegen den Anspruch auf den gesetzlichen Richter ab. Die Mitglieder der Beschwerdekammer in Strafsachen des Obergerichts (Oberrichterin Schnell, Oberrichter Bähler und Oberrichterin Bratschi) haben sich nicht vernehmen lassen. Die 2. Strafkammer des Obergerichts beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Der Beschwerdeführer hält in seiner Stellungnahme dazu an seinen Anträgen und Rechtsauffassungen fest. Zudem bringt er vor, er lehne Bundesrichter Karlen vorderhand ab. In einer weiteren Eingabe teilt er dem Bundesgericht mit, dass die Beschwerdekammer in Strafsachen in der Zwischenzeit seine Beschwerde gegen die Nichtanhandnahmeverfügung abgewiesen habe, soweit sie darauf eingetreten sei.