Erwägungen:
1.
Mit Entscheid vom 19. Juni 2017 erteilte das Regionalgericht Bern-Mittelland C._ in der gegen B._ angehobenen Betreibung Nr. xxx des Betreibungsamts Bern-Mittelland, Dienststelle Mittelland, definitive Rechtsöffnung für Fr. 29'323.-- nebst 5 % Zins seit 11. Januar 2017.
Gegen diesen Entscheid erhob B._ zusammen mit ihrem Ehemann A._ am 30. Juni 2017 Beschwerde an das Obergericht des Kantons Bern. Zugleich stellten sie ein Ausstandsbegehren gegen das Ober- und das Verwaltungsgericht. Mit Entscheid vom 20. Juli 2017 trat das Obergericht auf die Beschwerde nicht ein. Die Gerichtskosten von Fr. 200.-- auferlegte es B._ und A._ unter solidarischer Haftbarkeit.
Am 19. August 2017 haben A._ und B._ (Beschwerdeführer) gegen diesen Entscheid Beschwerde an das Bundesgericht erhoben. Das Bundesgericht hat die Akten beigezogen, aber keine Vernehmlassungen eingeholt. Am 19. September 2017 haben die Beschwerdeführer beantragt, auf die Einforderung eines Kostenvorschusses zu verzichten. Das Bundesgericht hat das Gesuch mit Verfügung vom 20. September 2017 abgewiesen.
2.
Der Streitwert der vorliegenden Rechtsöffnungssache liegt unter Fr. 30'000.-- (<ref-law>). Dass eine Rechtsfrage von grundsätzlicher Bedeutung (<ref-law>) vorliegen würde, machen die Beschwerdeführer nicht geltend und solches ist auch nicht ersichtlich. Die Eingabe ist demnach als subsidiäre Verfassungsbeschwerde entgegenzunehmen (<ref-law>). In einer Verfassungsbeschwerde kann nur die Rüge der Verletzung verfassungsmässiger Rechte vorgebracht werden (<ref-law>). Diese ist zu begründen (Art. 117 i.V.m. <ref-law>), d.h. anhand der Erwägungen des kantonalen Entscheids ist klar und detailliert darzulegen, welche verfassungsmässigen Rechte und inwiefern sie durch den angefochtenen Entscheid verletzt sein sollen (<ref-ruling> E. 3.1 S. 399).
Das Rechtsöffnungsverfahren richtet sich einzig gegen B._. Inwiefern ihr Ehemann, A._, in dieser Hinsicht ein rechtlich geschütztes Interesse an der Aufhebung oder Änderung des angefochtenen Entscheides haben könnte (<ref-law>), ist weder ersichtlich noch begründet er dies. A._ ist hingegen insoweit zur Verfassungsbeschwerde legitimiert, als ihm durch das Obergericht Gerichtskosten auferlegt worden sind.
3.
3.1. Die Beschwerdeführer wehren sich dagegen, dass das Obergericht einen Entscheid gefällt hat, obschon sie ein Ausstandsgesuch gegen das Obergericht gestellt hatten. Nach ihrer Ansicht hätte das Gesuch an das Verwaltungsgericht und von diesem aufgrund des Kollektivversagens der Berner Justiz an das Bundesamt für Justiz unter der Oberleitung der Bundespräsidentin weitergeleitet werden müssen. Das Obergericht hat das Ausstandsgesuch als unzulässig und missbräuchlich beurteilt, da es allein zum Zweck der Blockierung der Justiz gegen das gesamte Obergericht gestellt worden sei, ohne spezifische Ausstandsgründe gegen einzelne Gerichtsmitglieder zu nennen. Es ist entgegen der Ansicht der Beschwerdeführer nicht zu beanstanden, wenn das Obergericht das Gesuch selber behandelt hat und es darauf nicht eingetreten ist, sofern das Gesuch als missbräuchlich zu beurteilen war (Urteil 5A_605/2013 vom 11. November 2013 E. 3.5 mit Hinweisen; vgl. <ref-ruling>). Die Beschwerdeführer zeigen nicht auf, dass das Obergericht zu Unrecht davon ausgegangen ist, ihr Ausstandsgesuch sei missbräuchlich. Sie werfen dem Obergericht zwar vor, es habe zuvor eine Beschwerde unterdrückt bzw. vernichtet, um sie zu bestrafen, einen Weiterzug an den EGMR und eine Staatshaftung zu verhindern, und es liege ausserdem eine Interessenkollision und persönliche Feindschaft des gesamten Gerichts vor. Diese Vorwürfe stellen jedoch allesamt unbelegte Behauptungen dar, die die Beurteilung des Obergerichts eher bestätigen statt sie zu widerlegen.
3.2. In der Sache ist das Obergericht auf die Beschwerde nicht eingetreten, weil die Beschwerdeführer sie nicht genügend begründet hätten. Die Beschwerdeführer hätten sich nicht mit dem erstinstanzlichen Entscheid auseinandergesetzt, sondern ihren Unmut über die Berner Justiz und die bisher in dieser Sache geführten Straf- und Zivilverfahren geäussert. Sie hätten auch den als Rechtsöffnungstitel dienenden Entscheid und dessen Zustandekommen kritisiert, doch habe der Rechtsöffnungsrichter weder über den materiellen Bestand der Forderung zu befinden noch sich mit der Richtigkeit des als Rechtsöffnungstitel dienenden Urteils zu befassen.
Vor Bundesgericht setzen sich die Beschwerdeführer mit diesen Erwägungen nicht auseinander. Sie machen zwar geltend, das als Rechtsöffnungstitel dienende Urteil sei nichtig und der Rechtsöffnungsentscheid damit auch. Sie beschränken sich jedoch darauf, anhand einer Vielzahl unbelegter und unzulässiger Tatsachenbehauptungen erneut ihrem Unmut über die bisherigen Verfahren und gegenüber diversen Personen und Institutionen Luft zu machen. Bei alldem legen sie nicht detailliert unter Bezugnahme auf ihre kantonale Beschwerde und die damalige Beschwerdebegründung dar, weshalb das Obergericht auf ihre Beschwerde hätte eintreten müssen. Die wiederholte Anrufung diverser verfassungsmässiger Rechte (Verbot der Rechtsverweigerung, rechtliches Gehör etc.), die angeblich verletzt worden sein sollen, genügt den strengen Rügeanforderungen von <ref-law> nicht (oben E. 2).
3.3. Die Verfassungsbeschwerde ist somit abzuweisen, soweit auf sie eingetreten werden kann.
4.
Bei diesem Ausgang des Verfahrens tragen die Beschwerdeführer die Gerichtskosten unter solidarischer Haftung (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Verfassungsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Bern, 2. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 6. November 2017
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg