Sachverhalt:
A.
Vor der Staatlichen Schlichtungsstelle für Mietstreitigkeiten Basel-Stadt ist ein Verfahren hängig, das ein gegen A.A._ und B.A._ (Beschwerdeführer) als Vermieter gerichtetes Begehren um Rückzahlung eines Mietzinsdepots in der Höhe von Fr. 730.-- zuzüglich Zinsen zum Gegenstand hat.
Mit Eingabe vom 3. Januar 2014 beantragten die Beschwerdeführer in diesem Verfahren, "[d]ie Mietschlichtungsstelle" habe in den Ausstand zu treten. Sie machten geltend, die Schlichtungsstelle habe am 30. September 2013 bei der Staatsanwaltschaft eine Strafanzeige wegen Wuchers gegen sie (die Beschwerdeführer) eingereicht und sei daher nicht in der Lage, im vorliegenden Fall unparteiisch und unvoreingenommen zu urteilen. Hintergrund der besagten Strafanzeige ist gemäss dem angefochtenen Entscheid, dass einige Mitglieder der Schlichtungsstelle - in Ausübung von deren Funktion als Vollzugsbehörde des (kantonalen) Gesetzes über Abbruch und Zweckentfremdung von Wohnhäusern vom 20. November 1975 - an einem Baubewilligungsverfahren betreffend eine den Beschwerdeführern gehörenden Liegenschaft an der Strasse U._ in Basel mitgewirkt hatten. Nachdem diese Mitglieder der Schlichtungsstelle einen Augenschein durchgeführt und die Liegenschaft besichtigt hatten, erstatteten sie Strafanzeige mit der Feststellung, dass in der Liegenschaft aufgrund eingezogener Zwischenwände "engste Platzverhältnisse mit boxenartigen Räumen herrschen", die "teilweise weder über Fenster noch über Heizungen verfügen".
Die Schlichtungsstelle gab dem Ausstandsbegehren mit Verfügung vom 14. Januar 2014 insofern statt, als sie festhielt, dass "zu einer neuen Verhandlung ohne Kommissionsmitglieder der Staatlichen Schlichtungsstelle für Mietstreitigkeiten, die in das Bauverfahren xxx (Strasse U._) involviert sind," geladen werde.
Die Beschwerdeführer fochten diese Verfügung beim Appellationsgericht des Kantons Basel-Stadt an. Letzteres wies ihre kantonale Beschwerde mit Entscheid vom 8. April 2014 ab.
B.
Die Beschwerdeführer verlangen mit "Beschwerde in Zivilsachen", der Entscheid des Appellationsgerichts sei aufzuheben, und es sei festzustellen, "dass die Staatliche Stelle für Mietstreitigkeiten gegenüber den Beschwerdeführern [im erstinstanzlichen Verfahren] als Gesamtbehörde in den Ausstand zu treten" habe.
Die Schlichtungsstelle verzichtete auf eine Stellungnahme und verwies auf ihre Eingabe an das Appellationsgericht vom 6. Februar 2014. Das Appellationsgericht trug auf Abweisung der Beschwerde an, unter Verweis auf den angefochtenen Entscheid und mit einer präzisierenden Ergänzung.

Erwägungen:
1.
Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (<ref-law>; <ref-ruling> E. 1; <ref-ruling> E. 1; <ref-ruling> E. 1).
Der angefochtene Entscheid des Appellationsgerichts stellt einen selbständig eröffneten Zwischenentscheid über ein Ausstandsbegehren dar. Dagegen ist die Beschwerde gemäss <ref-law> zulässig.
Nach dem Grundsatz der Einheit des Verfahrens sind Zwischenentscheide mit dem in der Hauptsache zulässigen Rechtsmittel anzufechten (<ref-ruling> E. 1.4; <ref-ruling> E. 2.2). Das Verfahren vor der Schlichtungsstelle betrifft einen mietrechtlichen Fall, der die Streitwertgrenze von Fr. 15'000.-- gemäss <ref-law> nicht erreicht. Die Beschwerde in Zivilsachen ist daher nicht gegeben. Soweit in der Beschwerde die Verletzung verfassungsmässiger Rechte geltend gemacht wird, ist sie als subsidiäre Verfassungsbeschwerde entgegenzunehmen (vgl. <ref-law>). Auf diese ist - unter Vorbehalt rechtsgenüglich begründeter Rügen (vgl. Art. 117 in Verbindung mit <ref-law>) - einzutreten.
2.
Die Beschwerdeführer rügen eine Verletzung der Ausstandspflicht gemäss <ref-law> und Art. 6 Ziff. 1 EMRK.
2.1. Nach <ref-law> und Art. 6 Ziff. 1 EMRK hat jede Person, deren Sache in einem gerichtlichen Verfahren beurteilt werden muss, Anspruch auf ein durch Gesetz geschaffenes, zuständiges, unabhängiges und unparteiisches Gericht. Die Garantie des verfassungsmässigen Richters wird verletzt, wenn bei objektiver Betrachtung Gegebenheiten ersichtlich sind, die den Anschein der Befangenheit oder die Gefahr der Voreingenommenheit zu begründen vermögen, die somit geeignet sind, Misstrauen in die Unparteilichkeit des Richters zu erwecken. Solche Umstände können in einem bestimmten Verhalten des betreffenden Richters oder in gewissen äusseren Gegebenheiten funktioneller und organisatorischer Natur begründet sein. Bei ihrer Beurteilung ist nicht auf das subjektive Empfinden einer Partei abzustellen. Für die Ablehnung wird nicht verlangt, dass der Richter tatsächlich befangen ist (<ref-ruling> E. 4.1, Urteil 2C_89/2013 vom 13. Juni 2014 E. 2.2, zur Publikation vorgesehen; je mit weiteren Hinweisen).
<ref-law> umschreibt die Ausstandsgründe für die Zivilgerichte auf Gesetzesebene.
2.2. Die Beschwerdeführer machen in der Beschwerde geltend, es gehe beim Schlichtungsverfahren um ein Zimmer in der von der Strafanzeige betroffenen Liegenschaft Strasse U._ in Basel. Daher sei nicht vorstellbar, wie die Schlichtungsstelle "bei einer derartigen Konstellation unbefangen auftreten" könne.
2.3. Die Verfassungsrüge der Beschwerdeführer geht von vornherein fehl, soweit damit der Vorinstanz vorgehalten wird, das Ausstandsbegehren sei nicht "gegen ein einzelnes Behördenmitglied", sondern "gegen die Gesamtbehörde" gerichtet, die Strafanzeige gegen die Beschwerdeführer eingereicht habe. Denn nach der Rechtsprechung kann sich ein Ausstandsbegehren stets nur gegen Personen und nicht gegen Behörden richten; nur die für eine Behörde tätigen Personen, nicht die Behörde als solche, können befangen sein (<ref-ruling> E. 4.3; <ref-ruling> E. 1.3.3 S. 227; vgl. <ref-law>).
Zulässig sind demgegenüber Ausstandsbegehren gegen sämtliche Mitglieder einer Behörde, sofern gegen jedes einzelne Mitglied spezifische Ausstandsbegehren geltend gemacht werden, die über die Kritik hinausgehen, die Behörde als solche sei befangen (Urteil 8C_978/2012 vom 20. Juni 2013 E. 5.2.2).
2.4. Wenn das Begehren in diesem Sinne zu Gunsten der Beschwerdeführer so verstanden wird, dass damit der Ausstand sämtlicher Mitglieder der Schlichtungsstelle verlangt wird, erweist es sich als unberechtigt. Die von der Schlichtungsstelle getroffene und vom Appellationsgericht bestätigte Anordnung hält der bundesgerichtlichen Überprüfung stand:
2.4.1. Mit ihrer Verfügung vom 14. Januar 2014 schloss die Schlichtungsstelle jene Mitglieder von der Mitwirkung am vorliegenden Verfahren aus, die in das Bauverfahren xxx "involviert sind".
Somit kann offen bleiben, ob der Schlichtungsstelle ein Verstoss gegen <ref-law> sowie Art. 6 Ziff. 1 EMRK vorzuwerfen wäre, wenn sie Mitglieder zur Mitwirkung am vorliegenden Zivilverfahren zugelassen hätte, die bereits am fraglichen Bauverfahren beteiligt waren respektive selber Strafanzeige gegen die Beschwerdeführer stellten. Namentlich braucht nicht beurteilt zu werden, ob die betroffenen Mitglieder im Sinne von <ref-law> "in der gleichen Sache tätig" waren, was die Vorinstanz verneinte, die Beschwerdeführer demgegenüber ohne weitere Begründung bejahen. Mit Bezug auf <ref-law> ist immerhin zu erwähnen, dass der vorliegende Fall einer gesetzlichen Anzeigepflicht in amtlicher Tätigkeit nicht mit der Situation zu vergleichen ist, dass ein Behördenmitglied als Privatperson in einer Angelegenheit, die sie persönlich betrifft, an die Strafverfolgungsbehörden gelangt.
2.4.2. Was die übrigen, am Bauverfahren nicht beteiligten, Mitglieder der Schlichtungsstelle betrifft, verneinte die Vorinstanz das Vorliegen eines Ausstandsgrundes. Sie erwog, für die Strafanzeige zeichneten die am Augenschein in der Liegenschaft Strasse U._ beteiligten Mitglieder verantwortlich. Daran ändere auch nichts, dass die Strafanzeige im Namen der Schlichtungsstelle eingereicht worden sei. Dies entspricht denn auch § 35 Abs. 1 des Gesetzes des Kantons Basel-Stadt vom 13. Oktober 2010 über die Einführung der Schweizerischen Strafprozessordnung, gemäss dem die Personen, die in der Stellung als Mitglieder von Behörden oder als Bedienstete von Kanton oder Gemeinde Kenntnis von (von Amtes wegen zu verfolgenden) Verbrechen oder Vergehen erhalten, diese anzuzeigen haben. Sodann stellte die Vorinstanz fest, der zur Anzeige gebrachte Sachverhalt sei einzig den am Augenschein in der Liegenschaft Strasse U._ beteiligten Mitgliedern der Schlichtungsstelle " (direkt) bekannt geworden". Die Beschwerdeführer halten dies zwar für "eine unbewiesene Aussage", zeigen in diesem Punkt jedoch keine auf einer Verfassungsverletzung beruhende Sachverhaltsfeststellung im Sinne von <ref-law> in Verbindung mit <ref-law> auf. Bereits aus diesem Grund wäre die Rüge insoweit zum Scheitern verurteilt, als sie davon ausgeht, dass auch die nicht in das Bauverfahren xxx involvierten Mitglieder der Schlichtungsstelle Kenntnis von der Strafanzeige und deren Inhalt erlangt haben.
Der Vorinstanz ist sodann darin Recht zu geben, dass das amtliche Handeln einzelner Behördenmitglieder im Namen der Behörde grundsätzlich nicht den Ausstand von allen Mitgliedern dieser Behörde in der gleichen Sache notwendig macht. Nach der Rechtsprechung gebietet die blosse Kollegialität unter Gerichtsmitgliedern keine Ausstandspflicht (<ref-ruling> E. 5.3 und 5.4; <ref-ruling> E. 6.4.4). Dementsprechend gilt der Ausstandsgrund der Vorbefassung bloss für diejenige Person, die selber in der gleichen Sache tätig war (vgl. <ref-law>; Urteil 1B_139/2014 vom 1. Juli 2014 E. 3). Die Verfügung vom 14. Januar 2014 und der diese bestätigende Entscheid des Appellationsgerichts vom 8. April 2014 sind in dieser Hinsicht nicht zu beanstanden.
2.5. Um mit ihrer Rüge Erfolg zu haben, müssten die Beschwerdeführer somit weitere Umstände nennen, die bei objektiver Betrachtung den Anschein der Voreingenommenheit der an ihrer Streitsache mitwirkenden Personen hervorrufen. Die Beschwerde erschöpft sich jedoch im pauschalen Vorwurf der Befangenheit. Es sind ihr keine konkreten Hinweise darauf zu entnehmen, wessen Ausstand die Vorinstanz aus welchen konkreten Gründen (zusätzlich) hätte anordnen müssen. Damit erweist sie sich als unbegründet, soweit sie überhaupt zu hören ist.
3.
Nach dem Gesagten ist auf die Beschwerde in Zivilsachen nicht einzutreten. Die subsidiäre Verfassungsbeschwerde ist abzuweisen, soweit darauf eingetreten werden kann.
Ausgangsgemäss werden die Beschwerdeführer kostenpflichtig, in solidarischer Haftbarkeit (Art. 66 Abs. 1 und 5 BGG). Es ist keine Parteientschädigung zu sprechen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde in Zivilsachen wird nicht eingetreten.
2.
Die subsidiäre Verfassungsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
3.
Die Gerichtskosten von Fr. 1'000.-- werden den Beschwerdeführern auferlegt, in solidarischer Haftbarkeit.
4.
Dieses Urteil wird den Parteien und dem Appellationsgericht des Kantons Basel-Stadt, Ausschuss, schriftlich mitgeteilt.
Lausanne, 18. September 2014
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Kölz