Sachverhalt: A. Am 14. September 2017 erliess die Staatsanwaltschaft Bern eine Nichtanhandnahmeverfügung in Bezug auf den gegen Oberrichterin B._ gerichteten Vorwurf des Amtsmissbrauchs. A._, der die Strafanzeige erstattet hatte, erhob hiergegen Beschwerde ans Obergericht Bern. Zu Beginn des Beschwerdeverfahrens machte er geltend, er lehne Oberrichter Jürg Bähler wegen der Besorgnis der Befangenheit ab. Die mit der Sache befasste Verfahrensleitung der Beschwerdekammer in Strafsachen leitete das Ausstandsgesuch an die Strafkammern des Obergerichts weiter. Die 2. Strafkammer beschloss in der Folge unter Mitwirkung der Oberrichter Niklaus, Geiser und Kiener am 3. November 2017, das Ausstandsgesuch abzuweisen, soweit darauf einzutreten sei. B. Mit Beschwerde in Strafsachen ans Bundesgericht vom 6. Dezember 2017 beantragt A._, der Beschluss des Obergerichts sei aufzuheben und das Ausstandsgesuch gutzuheissen. Die Sache sei an die Vorinstanz zurückzuweisen, damit diese in einer auf Gesetz beruhenden Besetzung neu entscheide, wobei die Oberrichter Niklaus, Geiser und Kiener in den Ausstand zu treten hätten. Die Kosten des Ausstandsverfahrens seien dem Kanton Bern aufzuerlegen. In verfahrensrechtlicher Hinsicht macht der Beschwerdeführer geltend, er lehne die strafrechtliche Abteilung des Bundesgerichts wegen eines Verstosses gegen den Anspruch auf den gesetzlichen Richter ab. Der Beschwerdegegner hat auf eine Stellungnahme verzichtet. Die 2. Strafkammer des Obergerichts beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Der Beschwerdeführer hält in seiner Stellungnahme dazu an seinen Anträgen und Rechtsauffassungen fest. Zudem bringt er vor, er lehne Bundesrichter Karlen vorderhand ab.