Erwägungen:
1.
Die B._ AG (Beschwerdegegnerin) beantragte mit Schlichtungsgesuch vom 10. August 2020 bei der Schlichtungsbehörde des Zivilgerichts des Kantons Basel-Stadt, es sei A._ (Beschwerdeführer) zur Zahlung von Fr. 840.05 zuzüglich Zins an sie zu verpflichten und es sei der in der angehobenen Betreibung erhobene Rechtsvorschlag in entsprechendem Umfang zu beseitigen. Ferner stellte sie den Antrag auf einen Entscheid der Schlichtungsbehörde. Mit Verfügung vom 12. August 2020 stellte die Schlichtungsbehörde das Schlichtungsgesuch samt Beilagen dem Beschwerdeführer zur fakultativen Stellungnahme zu.
Der Beschwerdeführer erschien nicht zur Schlichtungsverhandlung vom 3. November 2020, zu der die Parteien ordnungsgemäss vorgeladen worden waren. Mit Entscheid vom gleichen Tag verpflichtete die Schlichtungsbehörde den Beschwerdeführer in Abwesenheit, der Beschwerdegegnerin Fr. 840.05 zuzüglich Zins zu bezahlen, beseitigte den Rechtsvorschlag in der genannten Betreibung und auferlegte ihm die Kosten des Schlichtungsverfahrens.
Eine vom Beschwerdeführer dagegen erhobene Beschwerde wies das Appellationsgericht des Kantons Basel-Stadt mit Entscheid vom 3. Mai 2021 ab.
Der Beschwerdeführer erhob dagegen mit Eingabe vom 6. Juni 2021 (Postaufgabe am 9. Juni 2021) Beschwerde in Zivilsachen (Art. 72 BGG).
Ein Antrag des Beschwerdeführers, es sei für das bundesgerichtliche Verfahren auf die Einholung eines Kostenvorschusses zu verzichten, wurde mit Verfügung vom 14. Juni 2021 abgewiesen. Der Beschwerdeführer leistete den gleichzeitig von ihm verlangen Kostenvorschuss daraufhin fristgerecht.
Auf die Einholung von Vernehmlassungen zur Beschwerde wurde verzichtet.
2.
Die Beschwerde in Zivilsachen nach Art. 72 ff. BGG ist angesichts der Höhe des Streitwerts von Fr. 840.05 im vorliegenden Fall unzulässig (Art. 74 Abs. 1 und Art. 51 Abs. 1 lit. a BGG) und der Beschwerdeführer macht nicht geltend, dass die Beschwerde dennoch zulässig sei, weil sich eine Rechtsfrage von grundsätzlicher Bedeutung im Sinne von Art. 74 Abs. 2 lit. a BGG stellen würde (Art. 42 Abs. 2 BGG).
Die Eingabe des Beschwerdeführers ist unter diesen Umständen als subsidiäre Verfassungsbeschwerde im Sinne der Art. 113 ff. BGG zu behandeln.
3.
In einer Verfassungsbeschwerde muss dargelegt werden, welche verfassungsmässigen Rechte durch das kantonale Gericht verletzt worden sind, und solche Rügen sind unter Bezugnahme auf die Erwägungen des angefochtenen Entscheids detailliert und klar zu begründen (Art. 42 Abs. 2 und Art. 106 Abs. 2 in Verbindung mit Art. 117 BGG).
Das Bundesgericht legt seinem Entscheid den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 118 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie auf einer Verfassungsverletzung im Sinne von Art. 116 BGG beruht, beispielsweise weil sie willkürlich ist, was der Beschwerdeführer mit einer den genannten Anforderungen genügenden Begründung geltend zu machen hat (Art. 117 in Verbindung mit Art. 106 Abs. 2 BGG; <ref-ruling> E. 2.2; <ref-ruling> E. 3.2 S. 445 mit Hinweis).
In einer Beschwerde, in welcher der Beschwerdeführer eine Verletzung des Willkürverbots nach Art. 9 BV geltend macht, ist im Einzelnen unter hinreichender Auseinandersetzung mit der Begründung des angefochtenen Entscheids zu zeigen, inwiefern der angefochtene Entscheid offensichtlich unhaltbar ist (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG; vgl. <ref-ruling> E. 4.3 S. 522; <ref-ruling> E. 3 S. 352; <ref-ruling> E. 5.5, 133 III 393 E. 7.1).
Nach ständiger Praxis des Bundesgerichts liegt Willkür in der Rechtsanwendung vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist. Dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht (<ref-ruling> E. 2; <ref-ruling> E. 4.1; <ref-ruling> E. 2.2; <ref-ruling> E. 3.2.5 S. 339, je mit Hinweisen).
4.
Der Beschwerdeführer macht sinngemäss geltend, die Vorinstanz habe in willkürlicher Weise unter Verletzung des Gehörsanspruchs das Vorgehen der Schlichtungsbehörde geschützt, die einen Entscheid gemäss Art. 212 Abs. 1 ZPO gefällt, statt eine Klagebewilligung ausgestellt habe.
4.1. Die Vorinstanz führte im angefochtenen Entscheid aus, die Voraussetzungen für einen Entscheid der Schlichtungsbehörde gemäss Art. 212 ZPO seien entgegen der Auffassung des Beschwerdeführers zweifellos erfüllt gewesen; gemäss Abs. 2 dieser Bestimmung sei das Verfahren mündlich; der Beschwerdeführer bestreite zu Recht nicht, dass ihm das Schlichtungsgesuch mit dem Antrag auf Entscheid der Schlichtungsbehörde zugestellt und dass er ordentlich zur Verhandlung geladen wurde; da der Beschwerdeführer nicht zur Schlichtungsverhandlung erschienen sei, habe die Schlichtungsbehörde in analoger Anwendung von Art. 234 ZPO aufgrund der Akten und der Vorbringen der anwesenden Partei entscheiden dürfen; sie sei dabei zutreffend vom Verzicht des beklagtischen Beschwerdeführers auf Bestreitung der klägerischen Behauptungen ausgegangen; namentlich könne aus der blossen Erhebung eines Rechtsvorschlags keine Bestreitung der Vorbringen der Beschwerdegegnerin im Verfahren betreffend Beseitigung des Rechtsvorschlags abgeleitet werden und der Beschwerdeführer mache zu Recht nicht geltend, dass er im Verfahren vor der Schlichtungsbehörde schriftlich oder mündlich Einwände oder Bestreitungen vorgebracht habe; er mache auch nicht geltend, im Verfahren vor der Schlichtungsbehörde den Entscheid des Zivilgerichts vom 23. Juni 2020 (mit dem der Beschwerdegegnerin die provisorische Beseitigung des vom Beschwerdeführer erhobenen Rechtsvorschlags verweigert wurde) eingereicht zu haben; bei diesem wie auch bei den in der kantonalen Beschwerde vorgebrachten Bestreitungen der Forderung handle es sich demnach um im Beschwerdeverfahren unzulässige Noven.
4.2. Der Beschwerdeführer macht geltend, die Vorinstanz sei willkürlich von einem Verzicht auf Bestreitung und der Zulässigkeit eines Entscheids nach Art. 212 ZPO ausgegangen; Art. 222 ZPO umfasse keine Begründung der Bestreitung und zum Schlichtungsverfahren gelte, dass bei Säumnis der beklagten Partei die Schlichtungsbehörde verfahre, wie wenn keine Einigung zustande gekommen wäre, und in der Regel die Klagebewilligung ausstelle; überdies sehe Art. 223 Abs. 1 ZPO ausdrücklich eine Nachfrist vor; der Beschwerdeführer habe von vornherein nicht mit einem Schlichtungsentscheid nach Art. 212 ZPO rechnen müssen.
Mit diesen Vorbringen zeigt der Beschwerdeführer nicht, jedenfalls nicht hinreichend auf, weshalb die auf Literatur und Rechtsprechung gestützte Lösung der Vorinstanz willkürlich sein soll, wonach die Schlichtungsbehörde im vorliegenden Fall nach Massgabe der Bestimmungen von Art. 212 und 234 ZPO habe entscheiden dürfen, nachdem dem Beschwerdeführer die Eingabe der Beschwerdegegnerin mit dem Antrag auf einen Entscheid der Schlichtungsbehörde zugestellt wurde und der Beschwerdeführer im Verfahren vor der Schlichtungsbehörde weder schriftlich noch - mangels Erscheinens an der Verhandlung - mündlich Einwände oder Bestreitungen vorgebracht habe. Auf die entsprechenden Rügen kann daher mangels hinreichender Begründung nicht eingetreten werden.
Lediglich der Vollständigkeit halber sei darauf hingewiesen, dass das Bundesgericht in einem neulich ergangenen Entscheid in einem ähnlich gelagerten Fall erwog, es sei das Ziel des Entscheidverfahrens nach Art. 212 ZPO, dass die Schlichtungsbehörde entscheidreife Streitigkeiten mit geringem Streitwert anlässlich der ersten Audienz entscheide, und erkannte, dass nach Art. 234 ZPO zu entscheiden ist, wenn bis zum Ende der Verhandlung vor der Schlichtungsbehörde schriftliche oder mündliche Bestreitungen ausbleiben (Urteil 4D_76/2020 vom 2. Juni 2021 E. 3.3.2 und 5.2, zur Publikation vorgesehen). Im gleichen Sinn hat das Bundesgericht kürzlich auch entschieden, dass bei unentschuldigtem Fernbleiben der beklagten Partei von der Verhandlung im vereinfachten Verfahren - dessen Vorschriften, abgesehen von der zwingenden Mündlichkeit, auf das Entscheidverfahren nach Art. 212 ZPO primär anwendbar sind - nicht zu einem neuen Gerichtstermin vorzuladen, sondern nach Art. 234 ZPO zu entscheiden ist (<ref-ruling> E. 2.2, 2.6 und 2.7 sowie das Urteil 4D_76/2020 vom 2. Juni 2021 E. 3.3.2, zur Publikation vorgesehen). Die Lösung der Vorinstanz erwiese sich damit, wenn sie hinreichend gerügt und zu prüfen wäre, nicht bloss als nicht willkürlich, sondern als zutreffend.
4.3. Der Beschwerdeführer bringt sodann sinngemäss vor, die Vorinstanz habe das Novenverbot nach Art. 326 Abs. 1 ZPO willkürlich und im Widerspruch zur tatsächlichen Situation angewendet, indem sie den Entscheid vom 23. Juni 2020 im Rechtsöffnungsverfahren, den er im vorinstanzlichen Beschwerdeverfahren angerufen habe und aus dem hervorgehe, dass er die Forderungsbehauptung in der von der Beschwerdegegnerin angehobenen Betreibung konkret bestreite, als unzulässiges Novum unberücksichtigt gelassen habe. Dieser Entscheid sei indessen von der Beschwerdegegnerin bereits im erstinstanzlichen Verfahren eingereicht worden und habe somit in den Akten des Schlichtungsverfahrens gelegen, weshalb er (nach Art. 234 ZPO) beim Entscheid der Schlichtungsbehörde hätte berücksichtigt werden müssen und kein Verzicht auf Bestreitung hätte angenommen werden dürfen.
Wie es sich mit der Handhabung des Novenverbots durch die Vorinstanz im Einzelnen verhält, kann offen bleiben, da diese jedenfalls im Ergebnis nicht willkürlich entschieden hat, wenn sie trotz des Umstands, dass die Beschwerdegegnerin den Entscheid vom 23. Juni 2020 im Schlichtungsverfahren als Beilage zu ihrem Schlichtungsgesuch eingereicht hatte und er demnach bei den Akten lag, davon ausging, der Beschwerdeführer habe die klägerischen Behauptungen zur geltend gemachten Forderung nicht bestritten.
So ist im Entscheidverfahren nach Art. 212 ZPO die Verhandlungsmaxime anwendbar, d.h. die Parteien haben dem Gericht die Tatsachen, auf die sie ihre Begehren stützen, darzulegen und Beweismittel anzugeben (Art. 55 Abs. 1 ZPO). Überdies sieht Art. 234 Abs. 1 Satz 2 im Sinne einer Kann-Vorschrift bloss vor, dass das Gericht bei Säumnis einer Partei seinem Entscheid die Akten zugrunde legen kann. Das Gericht bzw. die entscheidende Schlichtungsbehörde ist demnach nicht dazu gehalten, im Verfahrensdossier danach zu suchen, ob Urkunden, allenfalls gar aus einem anderen Verfahren, vorhanden sind, aus denen sich eine Bestreitung der geltend gemachten Forderung ergibt (s. zum Ganzen: Urteil 4D_76/2020 vom 2. Juni 2021 E. 5.2, zur Publikation vorgesehen).
Der Beschwerdegegner reichte den im Rechtsöffnungsverfahren ergangenen Entscheid vom 23. Juni 2020 im Schlichtungsverfahren unbestrittenermassen nicht selber ein und berief sich im Schlichtungsverfahren nicht auf daraus hervorgehende Bestreitungen der klägerischen Forderung. Wenn die Schlichtungsbehörde demnach sich aus diesem Entscheid allenfalls ergebende Bestreitungen der erhobenen Forderung nicht berücksichtigte bzw. - auch mangels anderer Bestreitungen - vom Ausbleiben der Bestreitung des von der Beschwerdeführerin vorgebrachten Tatsachenfundaments für die Forderung und von einem entscheidreifen Fall ausging und wenn die Vorinstanz dieses Vorgehen schützte, liegt darin jedenfalls weder eine willkürliche Rechtsanwendung noch eine willkürliche Sachverhaltsfeststellung.
4.4. Die Vorinstanz hat damit weder das Willkürverbot (Art. 9 BV) noch den Gehörsanspruch des Beschwerdeführers (Art. 29 Abs. 2 BV), noch den Anspruch auf ein gerechtes und faires Verfahren nach Art. 29 Abs. 1 BV und Art. 6 Ziff. 1 EMRK verletzt, indem sie das Vorgehen der Schlichtungsbehörde schützte.
5.
Die Beschwerde ist demnach abzuweisen, soweit darauf eingetreten werden kann.
Die Kosten des bundesgerichtlichen Verfahrens sind diesem Ausgang entsprechend dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Die Beschwerdegegnerin hat keinen Anspruch auf eine Parteientschädigung, da ihr aus dem bundesgerichtlichen Verfahren kein Aufwand entstanden ist (Art. 68 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 500.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Appellationsgericht des Kantons Basel-Stadt schriftlich mitgeteilt.
Lausanne, 6. August 2021
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Kiss
Der Gerichtsschreiber: Widmer