Sachverhalt: A. Am 23. Januar 2018 erliess die Staatsanwaltschaft Bern eine Nichtanhandnahmeverfügung in Bezug auf den gegen Unbekannt gerichteten Vorwurf der Unterdrückung von Urkunden und des Amtsmissbrauchs. A._, der die Strafanzeige erstattet hatte, erhob hiergegen Beschwerde ans Obergericht Bern. In seiner Beschwerde machte er vorab geltend, er lehne die Besetzung der Beschwerdekammer in Strafsachen des Obergerichts wegen einer Verletzung von Art. 6 EMRK ab. Die Verfahrensleitung der Beschwerdekammer leitete das mit der Beschwerde verbundene Ausstandsgesuch an die Strafkammern des Obergerichts weiter. Die 1. Strafkammer beschloss in der Folge unter Mitwirkung der Oberrichter Niklaus, Geiser und Kiener am 2. März 2018, das Ausstandsgesuch abzuweisen, soweit darauf einzutreten sei. B. Mit Beschwerde in Strafsachen ans Bundesgericht vom 9. April 2018 beantragt A._, der Beschluss vom 2. März 2018 sei aufzuheben. Die Oberrichter Niklaus, Geiser und Kiener hätten in den Ausstand zu treten und die Kosten des Ausstandsverfahrens seien dem Kanton Bern aufzuerlegen. In verfahrensrechtlicher Hinsicht macht der Beschwerdeführer geltend, er lehne die strafrechtliche Abteilung des Bundesgerichts wegen eines Verstosses gegen den Anspruch auf den gesetzlichen Richter ab.