Sachverhalt:
A.
B._ (Klägerin, Beschwerdegegnerin) war über ihre Arbeitgeberin bei der A._ AG (Beklagte, Beschwerdeführerin) nach VVG (SR 221.229.1) krankentaggeldversichert und gemäss Krankmeldung ab dem 16. Februar 2018 arbeitsunfähig. Die A._ AG erbrachte entsprechende Taggelder.
Am 24. Mai 2019 erstattete Dr. med. C._ (Psychiatrie und Psychotherapie FMH) auf Veranlassung der A._ AG ein Gutachten betreffend die Arbeitsfähigkeit von B._. Er hielt fest, dass in der angestammten Tätigkeit als Pflegefachfrau eine Arbeitsunfähigkeit von 20 % bestehe und in einer leidensangepassten Tätigkeit per sofort von einer vollen Arbeitsfähigkeit auszugehen sei. In der Folge stellte die A._ AG ihre Leistungen per 2. Juni 2019 ein.
Ab dem 6. August 2019 erhielt B._ von der Invalidenversicherung (IV) Taggelder zugesprochen.
B.
Am 6. März 2020 klagte B._ beim Sozialversicherungsgericht des Kantons Basel-Stadt mit dem Begehren, die A._ AG sei zu verurteilen, ihr Fr. 10'688.-- nebst Zins zu 5 % seit 1. Juli 2019 zu bezahlen. Sie forderte damit Taggelder für die Zeit vom 3. Juni 2019 bis 5. August 2019.
Mit Urteil vom 21. Oktober 2020 hiess das Sozialversicherungsgericht die Klage gut. Es verurteilte die A._ AG, B._ "ab dem 3. Juni 2019 bis und mit 5. August 2019 Taggelder auf der Basis einer Arbeitsunfähigkeit von 100% zuzüglich Zins zu 5% ab dem 3. Juni 2019 bzw. ab Fälligkeit der einzelnen Taggeldzahlungen auszurichten".
C.
Die A._ AG verlangt mit Beschwerde in Zivilsachen, das Urteil des Sozialversicherungsgerichts sei aufzuheben und die Klage sei abzuweisen.
Das Sozialversicherungsgericht und die Beschwerdegegnerin begehren die Abweisung der Beschwerde.
Mit Präsidialverfügung vom 25. Juni 2021 wurde das Gesuch der Beschwerdeführerin um Gewährung der aufschiebenden Wirkung abgewiesen.

Erwägungen:
1.
Das angefochtene Urteil des Sozialversicherungsgerichts hat eine Streitigkeit aus einer Zusatzversicherung zur sozialen Krankenversicherung gemäss Art. 7 ZPO zum Gegenstand. Es ist ein Endentscheid (Art. 90 BGG) einer einzigen kantonalen Instanz im Sinne von Art. 75 Abs. 2 lit. a BGG. Dagegen steht grundsätzlich die Beschwerde in Zivilsachen offen, gemäss Art. 74 Abs. 2 lit. b BGG unabhängig vom Streitwert (<ref-ruling> E. 1.1, 2 E. 1.2.2; siehe auch <ref-ruling> E. 1.2).
2.
2.1. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90).
2.2. Soweit die Parteien die vorinstanzliche Beweiswürdigung kritisieren, ist zu beachten, dass das Bundesgericht in diese nur eingreift, wenn sie willkürlich ist. Willkür liegt nach der Rechtsprechung nicht schon dann vor, wenn eine andere Lösung ebenfalls in Betracht zu ziehen oder gar vorzuziehen wäre, sondern bloss, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 4.1; <ref-ruling> E. 2.1; je mit Hinweisen). Die Beweiswürdigung ist mithin nicht schon dann willkürlich, wenn sie nicht mit der Darstellung der beschwerdeführenden Partei übereinstimmt, sondern bloss, wenn sie offensichtlich unhaltbar ist (<ref-ruling> E. 4.1; <ref-ruling> E. 4.2.1). Dies ist dann der Fall, wenn das Gericht Sinn und Tragweite eines Beweismittels offensichtlich verkannt hat, wenn es ohne sachlichen Grund ein wichtiges und entscheidwesentliches Beweismittel unberücksichtigt gelassen oder wenn es auf der Grundlage der festgestellten Tatsachen unhaltbare Schlussfolgerungen gezogen hat (<ref-ruling> E. 2.3 S. 266; <ref-ruling> E. 4.2 S. 234; <ref-ruling> E. 4.2). Inwiefern die Beweiswürdigung willkürlich sein soll, ist in der Beschwerde klar und detailliert aufzuzeigen (<ref-ruling> E. 2.2). Namentlich genügt es nicht, einzelne Beweise anzuführen, die anders als im angefochtenen Entscheid gewichtet werden sollen, und dem Bundesgericht in appellatorischer Kritik die eigene Auffassung zu unterbreiten, als ob diesem freie Sachverhaltsprüfung zukäme (vgl. <ref-ruling> E. 2.3 S. 266 f.; <ref-ruling> E. 2b).
3.
Streitig ist der Taggeldanspruch der Beschwerdegegnerin für die Zeit vom 3. Juni 2019 bis 5. August 2019. Konkret war im vorinstanzlichen Verfahren zu entscheiden, ob die Beschwerdegegnerin in dieser Zeitspanne aufgrund einer "psychiatrischen Erkrankung" arbeitsunfähig war.
4.
Dies bejahte die Vorinstanz. Sie stützte sich auf Berichte der behandelnden Ärztin Dr. med. D._ vom 28. Mai 2019, vom 11. Juli 2019 sowie vom 20. August 2019 und hielt fest, dass diese Gutachten der Beschwerdegegnerin eine volle Arbeitsunfähigkeit im besagten Zeitraum bestätigten. Das Sozialversicherungsgericht verwies ferner auf eine Einschätzung der Wiedereingliederungsstelle, auf die von der Beschwerdegegnerin im Juli 2019 eingenommenen Medikamente und auf den Umstand, dass die IV der Beschwerdegegnerin Eingliederungsmassnahmen und Taggelder gewährt habe, was bei einer vollen Arbeitsfähigkeit "nicht notwendig" gewesen wäre.
Dem Gutachten von Dr. med. C._ vom 24. Mai 2019, auf welches die Beschwerdeführerin ihre Leistungseinstellung stütze, könne dagegen nicht gefolgt werden. Dieser Bericht basiere auf einer Untersuchung vom 10. April 2019, die mithin "rund zweieinhalb Monate" vor der zu beurteilenden Periode (3. Juni 2019 bis 5. August 2019) durchgeführt worden sei. Ausserdem berücksichtige das Gutachten nicht, dass die Beschwerdegegnerin ab dem 6. Mai 2019 ein von der IV unterstütztes Wiedereingliederungsprogramm begonnen habe, dessen Rahmenbedingungen sich nicht mit der von Dr. med. C._ attestierten vollen Arbeitsfähigkeit in Einklang bringen liessen. Hinzu komme, dass sich Dr. med. C._ in seiner Beurteilung auf die für Langzeitleistungen massgebenden versicherungsmedizinischen Kriterien gestützt habe. Hier gehe es aber um vorübergehende Kurzzeitleistungen, für welche diese Kriterien nicht anwendbar seien. Die echtzeitlichen Berichte vom 28. Mai 2019, vom 11. Juli 2019 und vom 20. August 2019 von Dr. med. D._ gelangten nachvollziehbar zu einer anderen Einschätzung. Dr. med. C._ habe die Widersprüche in weiteren Stellungnahmen vom 21. April 2020 und vom 28. August 2020 nicht ausräumen können, zumal er sich darin widersprüchlich äussere.
5.
5.1. Die Beschwerdeführerin bringt zunächst in Ziffer 1 ihrer Beschwerdeschrift vor, Dr. med. C._ habe in seinem Gutachten entgegen der Vorinstanz die richtigen Kriterien angewandt. Er habe nämlich auf die "Standardindikatoren" abgestellt, wie sie gemäss <ref-ruling> E. 4.1.3 massgebend seien. Wäre dies unzulässig, müssten medizinische Gutachter "künftig die Prüfung der Standardindikatoren in Gutachten für Krankentaggeldversicherer nach VVG und KVG weglassen". Dies habe - so die Beschwerdeführerin - zur Konsequenz, dass die IV in Zukunft nicht mehr auf Gutachten werde abstellen können, die von Taggeldversicherern veranlasst worden seien. Dies "könnte Mehrkosten für die Invalidenversicherung zur Folge haben". Die Vorinstanz habe dies verkannt und dadurch Art. 6 Satz 1 ATSG (SR 830.1) sowie Art. 1.7 Satz 1 der anwendbaren allgemeinen Versicherungsbedingungen verletzt.
Diese Rüge beschlägt nicht eine Rechtsverletzung, sondern die vorinstanzliche Würdigung der im Recht liegenden Gutachten: Es geht um die Überzeugungskraft der Stellungnahme von Dr. med. C._ vom 24. Mai 2019. Diese Würdigung ist vom Bundesgericht nur unter Willkürgesichtspunkten zu überprüfen (dazu Erwägung 5.3). Ein Verstoss gegen sozialversicherungsrechtliche Bestimmungen kann vorliegend nicht zur Diskussion stehen.
5.2. In Ziffer 2 moniert die Beschwerdeführerin, die Vorinstanz habe die beschränkte Untersuchungsmaxime (Art. 243 Abs. 2 lit. f ZPO in Verbindung mit Art. 247 Abs. 2 lit. a ZPO) verletzt, indem sie "von Amtes wegen [...] sämtliche IV-Akten beigezogen" habe.
Diese Kritik ist unbegründet. Sowohl das Sozialversicherungsgericht als auch die Beschwerdegegnerin weisen zu Recht darauf hin, dass die Edition der IV-Akten im vorinstanzlichen Verfahren ausdrücklich sowie rechtzeitig beantragt worden war und der Beizug dieser Akten insofern nicht "von Amtes wegen" erfolgte. Ohnehin gibt die Beschwerdeführerin nicht präzise an, auf welche IV-Akten die Vorinstanz überhaupt abgestellt haben soll. Aus dem Urteil ergibt sich einzig, dass das Sozialversicherungsgericht auf IV-Akte 73 Bezug nahm. Dabei handelt es sich um einen ärztlichen Bericht vom 11. Juli 2019, welchen die Beschwerdegegnerin (auch) als Klagebeilage 23 eingereicht hatte. Die Beschwerdeführerin rügt genau besehen denn auch nicht die Verletzung zivilprozessualer Normen. Sie scheint sich vielmehr daran zu stören, dass die Vorinstanz ihrem Entscheid über die Arbeits (un) fähigkeit Akten zugrunde gelegt habe, die "nicht relevant" seien. Auch mit diesem Vorbringen beanstandet sie die Beweiswürdigung.
5.3. In Ziffer 3 wirft die Beschwerdeführerin dem Sozialversicherungsgericht schliesslich vor, zu Unrecht auf eine Arbeitsunfähigkeit der Beschwerdegegnerin im streitigen Zeitraum geschlossen zu haben.
Soweit sie sinngemäss rügt, die Vorinstanz habe den im Recht liegenden Gutachten der behandelnden Ärztin eine zivilprozessual unrichtige beweisrechtliche Bedeutung zugemessen, ist zu beachten, dass es keine starre Regel zur Würdigung von Angaben der behandelnden Ärzte gibt. Ob Willkür vorliegt, entscheidet sich vielmehr an der konkret erfolgten Beweiswürdigung (Urteil 4A_569/2018 vom 14. Januar 2019 E. 4.2 mit Hinweisen). Diese vermag die Beschwerdeführerin nicht als offensichtlich unrichtig auszuweisen. Dem - gründlich begründeten - Schluss der Vorinstanz, die Stellungnahmen von Dr. med. C._ seien nicht überzeugend und widersprüchlich, setzt sie ihre eigene Interpretation dieser Berichte entgegen. Die Gutachten erschienen - so behauptet die Beschwerdeführerin - "nachvollziehbar" und Widersprüche seien "nicht ersichtlich". Sie geht nicht auf das Argument des Sozialversicherungsgerichts ein, Dr. med. C._ habe die Beschwerdegegnerin zweieinhalb Monate vor der massgeblichen Zeitspanne begutachtet (und danach nicht mehr) und dem erst danach begonnenen Wiedereingliederungsprogramm nicht Rechnung tragen können. Im Übrigen stellt die Beschwerdeführerin die Diagnosen von Dr. med. D._ und Dr. med. C._ den Diagnosen in anderen medizinischen Berichten gegenüber, so namentlich jenem von Dr. med. E._ vom 11. Oktober 2018 und jenem der Klinik F._ vom 8. November 2018. Daraus schliesst sie, dass die "Kritik der Vorinstanz an Herrn Dr. C._ [...] unberechtigt" sei. Die Beschwerdeführerin übergeht, dass es nicht am Bundesgericht ist, über die Richtigkeit der im Recht liegenden medizinischen Stellungnahmen zu entscheiden. Ebenso wenig zeigt sie Willkür auf, wenn sie in den Raum wirft, "bei der Beschwerdegegnerin [liege] eine negative Antwortverzerrung [vor]", ohne aber daraus weitere Schlüsse zu ziehen.
Die Vorinstanz hat gestützt auf die Berichte von Dr. med. D._ und weitere - durch Beweismittel nachgewiesene - Indizien nachvollziehbar geschlossen, dass die behauptete Arbeitsunfähigkeit erwiesen sei. Dass sie Sinn und Tragweite eines Beweismittels offensichtlich verkannt oder sonstwie unhaltbare Schlussfolgerungen gezogen hätte (siehe Erwägungen 2.1 f.), ist nicht erkennbar. Allein die Tatsache, dass die Beurteilungen der verschiedenen Ärzte (in Teilen) nicht übereinstimmen, belegt jedenfalls keine Willkür. Wie es sich mit der von Dr. med. C._ durchgeführten "Standardindikatorenprüfung" (Erwägung 5.1) im Einzelnen verhält, kann offenbleiben.
Nach dem Gesagten hat die Vorinstanz willkürfrei eine vom 3. Juni 2019 bis 5. August 2019 bestehende Arbeitsunfähigkeit festgestellt.
6.
Die Beschwerde ist abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Ausgang des Verfahrens wird die Beschwerdeführerin kosten- und entschädigungspflichtig (siehe Art. 66 Abs. 1 und Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'000.-- werden der Beschwerdeführerin auferlegt.
3.
Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 2'500.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Sozialversicherungsgericht des Kantons Basel-Stadt schriftlich mitgeteilt.
Lausanne, 19. Juli 2021
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Stähle