Erwägungen:
1.
Am 2. November 2020 beantragten die Beschwerdeführer dem Zivilgericht des Kantons Basel-Stadt, es sei die Verfahrensbeteiligte zur Zahlung von Fr. 2'885.70 zuzüglich Zins zu verurteilen.
Mit Entscheid vom 26. Januar 2021 wies das Zivilgericht die Klage ab. Das Gesuch der Beschwerdeführer um Gewährung der unentgeltlichen Rechtspflege wies es zufolge Aussichtslosigkeit der Klage ab und auferlegte ihnen die Verfahrenskosten.
Die Beschwerdeführer fochten den zivilgerichtlichen Entscheid vom 26. Januar 2021 beim Appellationsgericht Basel-Stadt an und ersuchten gleichzeitig um Gewährung der unentgeltlichen Rechtspflege für das Beschwerdeverfahren. Mit Verfügung vom 23. April 2021 wies der Präsident des Appellationsgerichts das Gesuch um unentgeltliche Rechtspflege ab und setzte den Beschwerdeführern Frist zur Leistung eines Kostenvorschusses an.
Mit Eingabe vom 28. Mai 2021 erklärten die Beschwerdeführer dem Bundesgericht, den Entscheid des Zivilgerichts des Kantons Basel-Stadt vom 26. Januar 2021 und die Verfügung des Appellationsgerichts Basel-Stadt vom 23. April 2021 mit Beschwerde anfechten zu wollen.
Es wurden keine Vernehmlassungen eingeholt.
2.
Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (<ref-law>; <ref-ruling> E. 1; <ref-ruling> E. 1; <ref-ruling> E. 2.1).
2.1. Der Streitwert erreicht die Streitwertgrenze für eine Beschwerde in Zivilsachen gemäss <ref-law> nicht. Diese ist daher nur zulässig, wenn sich eine Rechtsfrage von grundsätzlicher Bedeutung stellt (<ref-law>), was die beschwerdeführende Partei aufzuzeigen hat (<ref-law>).
Die Beschwerdeführer behaupten nicht, dass sich eine Rechtsfrage von grundsätzlicher Bedeutung stellt und es ist auch nicht ersichtlich, inwiefern sich eine solche stellen könnte. Unter diesen Umständen ist die Beschwerde in Zivilsachen nicht zulässig, sondern es steht die subsidiäre Verfassungsbeschwerde im Sinne der Art. 113-119 BGG offen.
2.2. Mit der subsidiären Verfassungsbeschwerde kann ausschliesslich die Verletzung von verfassungsmässigen Rechten gerügt werden (<ref-law>). Diesbezüglich gilt eine qualifizierte Rügepflicht. Das Bundesgericht prüft die Verletzung von Grundrechten nicht von Amtes wegen, sondern nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 117 in Verbindung mit <ref-law>). Dies bedeutet, dass klar und detailliert anhand der Erwägungen des angefochtenen Entscheids darzulegen ist, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (<ref-ruling> E. 1.2; <ref-ruling> E. 3.2; je mit weiteren Hinweisen).
2.3. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie unter Verletzung eines verfassungsmässigen Rechts zustande kam (Art. 118 Abs. 2 und <ref-law>), was die beschwerdeführende Partei präzise geltend zu machen hat (Art. 117 i.V.m. <ref-law>; <ref-ruling> E. 2.2; <ref-ruling> E. 3.2). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-ruling> E. 7.1, 585 E. 4.1).
Neue tatsächliche Vorbringen und Beweismittel sind grundsätzlich ausgeschlossen und neue Begehren unzulässig (Art. 99 i.V.m. <ref-law>).
3.
3.1. Die Beschwerde an das Bundesgericht ist nur gegen Entscheide letzter kantonaler Instanzen zulässig (Art. 75 Abs. 1 i.V.m. <ref-law>). Auf die Beschwerden ist daher von vornherein nicht einzutreten, soweit die Beschwerdeführer darin unmittelbar den Entscheid des Zivilgerichts vom 26. Januar 2021 kritisieren, da es sich dabei nicht um einen letztinstanzlichen Entscheid im Sinne von <ref-law> handelt.
3.2. Die Eingabe der Beschwerdeführer vom 28. Mai 2021 erfüllt die genannten Begründungsanforderungen offensichtlich nicht. Sie setzen sich nicht hinreichend mit den Erwägungen des angefochtenen Entscheids des Appellationsgerichts Basel-Stadt vom 23. April 2021 auseinander und zeigen auf, inwiefern der Vorinstanz eine Verletzung verfassungsmässiger Rechte vorzuwerfen wäre, sondern unterbreiten dem Bundesgericht in unzulässiger Weise ihre Sicht der Dinge.
Auf die Beschwerde ist somit mangels hinreichender Begründung nicht einzutreten (<ref-law>).
4.
Das Gesuch um Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren ist abzuweisen, weil die Beschwerde von vornherein aussichtslos war (<ref-law>). Die Beschwerdeführer werden bei diesem Verfahrensausgang unter solidarischer Haftbarkeit kostenpflichtig (Art. 66 Abs. 1 und 5 BGG). Dem Beschwerdegegner und der Verfahrensbeteiligten steht keine Parteientschädigung zu (Art. 68 Abs. 2 und 3 BGG).

Demnach erkennt die Präsidentin:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Das Gesuch um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren wird abgewiesen.
3.
Die Gerichtskosten von Fr. 300.-- werden den Beschwerdeführern unter solidarischer Haftbarkeit (intern je zur Hälfte) auferlegt.
4.
Es werden keine Parteientschädigungen zugesprochen.
5.
Dieses Urteil wird den Beschwerdeführern, dem Appellationsgericht des Kantons Basel-Stadt und der Verfahrensbeteiligten schriftlich mitgeteilt.
Lausanne, 2. Juni 2021
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Leemann