Sachverhalt: A. A.A._ und B.A._ (Beschwerdeführer) sind Vermieter der Liegenschaft an der Strasse U._ in Basel. Sie sind bzw. waren als Beklagte an mehreren - von verschiedenen Mietern dieser Liegenschaft eingeleiteten - Gerichtsverfahren beteiligt. In den Verfahren vor der Staatlichen Schlichtungsstelle für Mietstreitigkeiten mit den Nummern 14/S-6, 14/S-21, 14/S-28, 14/S-36 und 13/S-414 blieben sie den auf den Vormittag des 26. März 2014 angesetzten Schlichtungsverhandlungen fern. Mit separaten "Kosten-Verfügungen" vom gleichen Tag auferlegte die Schlichtungsstelle A.A._ und B.A._ "in Anwendung von Art. 128 der Schweizerischen Zivilprozessordnung" fünf Ordnungsbussen von je Fr. 200.-- wegen Nichterscheinens zur Schlichtungsverhandlung. Diese fünf Verfügungen fochten A.A._ und B.A._ jeweils beim Appellationsgericht des Kantons Basel-Stadt an, das die Beschwerden am 15. Juli 2014 in einem einzigen Entscheid abwies. B. A.A._ und B.A._ verlangen mit Beschwerde in Zivilsachen vom 10. September 2014, der Entscheid des Appellationsgerichts vom 15. Juli 2014 sei aufzuheben, und es sei festzustellen, dass die Schlichtungsstelle ihnen gegenüber "zu Unrecht Ordnungsbussen ausgesprochen" habe. Sodann begehren sie in prozessualer Hinsicht, das vorliegende Verfahren sei bis zum Entscheid des Bundesgerichts über ihre Beschwerde vom 8. September 2014 "im Parallelverfahren" zu sistieren. Die Vorinstanz und die Schlichtungsstelle beantragen, die Beschwerde abzuweisen. C. Am 23. Juni 2015 führte das Bundesgericht eine öffentliche Urteilsberatung durch.