Sachverhalt:
A.
A._ (Beklagter, Beschwerdeführer) war über seine Arbeitgeberin (die B._ AG) bei der B.B._ AG (Klägerin, Beschwerdegegnerin) nach VVG (SR 221.229.1) krankentaggeldversichert und bei der Personalvorsorgestiftung der B._ AG (nachstehend: PVS B._) für die berufliche Vorsorge versichert. Ab 10. November 2014 erbrachte die B.B._ AG Taggeldleistungen aufgrund einer mittelgradigen depressiven Episode.
Am 10. Dezember 2014 hat sich A._ bei der IV-Stelle zum Leistungsbezug angemeldet. Mit Verfügung vom 13. Juni 2016 wurde ihm ab 1. November 2015 (unbefristet) eine ganze IV-Rente zugesprochen. Daraufhin kürzte die B.B._ AG die Taggeldleistungen ab Juni 2016 um den Betrag der IV-Leistungen. Die Nachzahlung der IV-Stelle für die Zeit von 1. November 2015 bis 31. Mai 2016 erfolgte an die B._ AG.
Mit Schreiben vom 1. September 2016 teilte die PVS B._ mit, dass sie analog der Invalidenversicherung von einem Invaliditätsgrad von 100 % ab 1. November 2015 ausgehe. Es bestehe daher Anspruch auf eine ganze Invalidenrente der beruflichen Vorsorge in Höhe von Fr. 4'840.-- pro Monat. Diese Rente sei ab 1. November 2015 auszurichten und könne nicht bis zur Erschöpfung der Taggeldleistungen aufgeschoben werden. In der Folge kürzte die B.B._ AG die Taggeldleistungen ab 1. September 2016 (auch) um den Betrag der BVG-Invalidenrente. Mit Schreiben vom 25. Oktober 2016 und 14. November 2018 forderte die B._ AG von A._ Fr. 48'400.-- infolge zu viel bezahlter Taggelder für den Zeitraum von 1. November 2015 bis 31. August 2016 (10 Monate à je Fr. 4'840.--) zurück.
Am 11. April 2019 stellte A._ der B._ AG eine "Schlussabrechnung" zu und überwies ihr einen Betrag von Fr. 460.95. Mit Schreiben vom 28. August 2019 teilte die B._ AG mit, dass sie dies als Anzahlung an die Forderung von Fr. 48'400.-- entgegennehme und folglich ein Betrag von Fr. 47'939.05 offen bleibe.
B.
Am 25. November 2019 klagte die B.B._ AG beim Verwaltungsgericht des Kantons Schwyz mit dem Begehren, A._ sei zu verurteilen, ihr Fr. 47'939.05 nebst Zins zu 5 % seit 25. Oktober 2016 "infolge unrechtmässig bezogener Taggeldleistungen für die Zeit vom 1. November 2015 bis 31. August 2016 zurückzuerstatten".
Mit Urteil vom 11. August 2020 hiess das Verwaltungsgericht die Klage insoweit gut, als es A._ verpflichtete, der B.B._ AG für den Zeitraum von 1. November 2015 bis 31. August 2016 den Betrag von Fr. 47'939.05 nebst Zins zu 5 % seit 20. November 2018 zu bezahlen. Im Übrigen wies es die Klage ab.
C.
A._ verlangt mit Beschwerde in Zivilsachen, das Urteil des Verwaltungsgerichts sei aufzuheben und die Klage sei abzuweisen. Die Beschwerdegegnerin begehrt die Abweisung der Beschwerde.

Erwägungen:
1.
Das angefochtene Urteil des Verwaltungsgerichts hat eine Streitigkeit aus einer Zusatzversicherung zur sozialen Krankenversicherung gemäss <ref-law> zum Gegenstand (siehe dazu Urteil 4A_12/2016 vom 23. Mai 2017 E. 1.2 mit Hinweisen). Es ist ein Endentscheid (<ref-law>) einer einzigen kantonalen Instanz im Sinne von <ref-law>. Dagegen steht grundsätzlich die Beschwerde in Zivilsachen offen, gemäss <ref-law> unabhängig vom Streitwert (<ref-ruling> E. 1.1, 2 E. 1.2.2; siehe auch <ref-ruling> E. 1.2).
2.
Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, ansonsten darauf nicht eingetreten werden kann (<ref-ruling> E. 2 S. 116; <ref-ruling> E. 2.1). In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Unerlässlich ist dabei, dass auf die Begründung des angefochtenen Entscheids eingegangen und im Einzelnen aufgezeigt wird, worin eine vom Bundesgericht überprüfbare Rechtsverletzung liegt. Die beschwerdeführende Partei soll in der Beschwerde an das Bundesgericht nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 116, 86 E. 2 S. 89).
3.
Gegenstand des vorinstanzlichen Verfahrens bildete die Frage, ob der Beschwerdeführer durch die Ausrichtung sowohl von Taggeldern als auch der BVG-Invalidenrente für den Zeitraum von 1. November 2015 bis 31. August 2016 überentschädigt wurde und ihn aus diesem Grund eine Rückerstattungspflicht trifft.
4.
4.1. Die Vorinstanz stützte sich auf Art. 23.1 der Allgemeinen Versicherungsbedingungen für die "B._ Business Salary Kollektiv-Taggeldversicherung nach VVG" (nachstehend: AVB), wonach das "Zusammentreffen mit Leistungen von Sozialversicherern [...] nicht zu einer Überentschädigung der versicherten Person" führen dürfe und die Taggeldleistungen "im Nachgang zu den Leistungen von Sozialversicherungen und Versicherungen gemäss BVG" erbracht würden. Die Leistungspflicht des Zusatzversicherers beschränke sich - so das Verwaltungsgericht weiter - gemäss den AVB auf die Differenz zwischen "den Leistungen von Sozialversicherungen - einschliesslich freiwillige Taggeldversicherungen nach KVG - und Versicherungen gemäss BVG" einerseits und der Überentschädigungsgrenze andererseits. Nachdem der Beschwerdeführer für den Zeitraum von 1. November 2015 bis 31. August 2016 sowohl Taggeldleistungen (ab 1. Juni 2016 abzüglich der IV-Rente der Invalidenversicherung [vgl. Sachverhalt lit. A]) als auch eine BVG-Invalidenrente erhalten habe, sei eine Überentschädigung im eben erwähnten Sinne grundsätzlich zu bejahen und wäre die Beschwerdegegnerin als Zusatzversichererin in diesem Umfang nicht leistungspflichtig gewesen.
4.2. Das Verwaltungsgericht setzte sich sodann mit Art. 26 Abs. 2 BVG (SR 831.40) auseinander, den die Parteien in ihren Rechtsschriften aufgegriffen hatten. Gemäss dieser Norm könne die Vorsorgeeinrichtung in ihren reglementarischen Bestimmungen vorsehen, dass der Anspruch auf Invalidenleistungen aufgeschoben werde, solange der Versicherte den vollen Lohn erhalte. (Nur) wenn der Anspruch auf die BVG-Invalidenrente in diesem Sinne aufgeschoben werde, liege keine Überentschädigung vor. Im vorliegenden Fall habe die Vorsorgeeinrichtung (die PVS B._) die BVG-Invalidenrente aber gerade nicht aufgeschoben. Abgesehen davon sei ein Aufschub der BVG-Invalidenrente "aufgrund der damals aktuellen Rechtsprechung" nicht möglich gewesen und überhaupt habe der Beschwerdeführer "bis heute" keine rechtlichen Schritte gegen die Zusprache der BVG-Invalidenrente eingeleitet.
4.3. Folglich bleibe es bei der Überentschädigung; diese sei gestützt auf Art. 34.2 AVB ("Rückerstattungspflicht") und <ref-law> zurückzuerstatten.
5.
Der Beschwerdeführer erhebt verschiedene Rügen, die sich in zwei Komplexe zusammenfassen lassen (nachstehende Erwägungen 5.1 und 5.2) :
5.1.
5.1.1. Er verweist zunächst auf die vorinstanzliche Erwägung, wonach eine Überentschädigung zu verneinen sei, wenn die BVG-Invalidenrente bis zum Ende des Anspruchs auf Taggeldleistungen hätte aufgeschoben werden müssen. In diesem Zusammenhang bringt er vor, dass der in Art. 26 Abs. 2 BVG vorgesehene Rentenaufschub nicht im Ermessen der Vorsorgeeinrichtung liege, sondern bei gegebenen Voraussetzungen zwingend sei. Er verweist auf <ref-ruling> und macht Ausführungen zur Frage, ob es sich bei Art. 26 Abs. 2 BVG und der darauf gestützten reglementarischen Bestimmung (Ziff. 16.6 des Vorsorgereglements der PVS B._) um "Kann-" oder "Muss-" Vorschriften handelt.
5.1.2. Für den Beginn des Anspruchs auf Invalidenleistungen aus beruflicher Vorsorge gelten sinngemäss die entsprechenden Bestimmungen des <ref-law> (Art. 26 Abs. 1 BVG). Die Vorsorgeeinrichtung kann in ihren reglementarischen Bestimmungen vorsehen, dass der Anspruch aufgeschoben wird, solange der Versicherte den vollen Lohn erhält (Art. 26 Abs. 2 BVG). Der Bundesrat hat gestützt darauf in Art. 26 der Verordnung vom 18. April 1984 über die berufliche Alters-, Hinterlassenen- und Invalidenvorsorge (BVV 2; SR 831.441.1) folgende Regel erlassen: Die Vorsorgeeinrichtung kann den Anspruch auf Invalidenleistung bis zur Erschöpfung des Taggeldanspruchs aufschieben, wenn (a) der Versicherte anstelle des vollen Lohns Taggelder der Krankenversicherung erhält, die mindestens 80 Prozent des entgangenen Lohnes betragen, und (b) die Taggeldversicherung vom Arbeitgeber mindestens zur Hälfte mitfinanziert wurde (vgl. zum Ganzen auch <ref-ruling> E. 1.2).
5.1.3. Dass diese Voraussetzungen - entgegen der Vorinstanz - im vorliegenden Fall gegeben gewesen wären, tut der Beschwerdeführer nicht (hinreichend) dar, wie die Beschwerdegegnerin in ihrer Beschwerdeantwort zu Recht betont. Sind aber die Voraussetzungen für den Aufschub der BVG-Invalidenrente ohnehin nicht erfüllt, ist nicht von Bedeutung, ob der Aufschub bei gegebenen Voraussetzungen zwingend oder fakultativ ist. Es ist aus diesem Grund - und anders als der Beschwerdeführer meint - auch nicht entscheidrelevant, dass das Verwaltungsgericht das Vorsorgereglement (konkret: dessen Ziff. 16.6) nicht beigezogen hat, um anhand dieses Dokuments zu prüfen, ob eine solche "Verpflichtung" zum Aufschub bestanden hätte; die Vorinstanz hat weder gegen den Grundsatz der Rechtsanwendung von Amtes wegen (<ref-law>) noch gegen die Untersuchungsmaxime (<ref-law>) verstossen.
5.1.4. Auch der Hinweis in der Beschwerdeschrift auf <ref-ruling> hilft dem Beschwerdeführer nicht. In diesem Urteil entschied das Bundesgericht im Sinne einer Änderung der Rechtsprechung, dass die auf Art. 26 Abs. 2 BVG und Art. 26 BVV 2 basierende reglementarische Rentenaufschubsmöglichkeit der Vorsorgeeinrichtung auch dann besteht, wenn der Taggeldversicherer, der Taggelder für Arbeitsunfähigkeit ausgerichtet hat, diese Leistungen im Umfang der nachträglich zugesprochenen Rente der Invalidenversicherung zurückfordert (E. 3.3-3.4). Der Beschwerdeführer moniert, die Vorinstanz habe die davor geltende Praxis zur Anwendung gebracht. Auch in diesem Zusammenhang belässt er es allerdings mit abstrakten Ausführungen zur Frage der zeitlichen Tragweite von Rechtsprechungsänderungen, ohne konkret aufzuzeigen, dass die Voraussetzungen für einen Aufschub der BVG-Invalidenrente im Sinne von Art. 26 Abs. 2 BVG und Art. 26 BVV 2 gegeben gewesen wären.
5.2.
5.2.1. Wie bereits vor Vorinstanz vertritt der Beschwerdeführer auch im bundesgerichtlichen Verfahren - wohl im Sinne eines Eventualstandpunkts - die Auffassung, die PVS B._ habe ihm (für den Zeitraum von 1. November 2015 bis 31. August 2016) nicht die ganze BVG-Invalidenrente in Höhe von Fr. 48'400.-- ausbezahlt, sondern nur Fr. 22'808.50. Die Differenz habe sie mit einem von ihm getätigten Vorbezug im Betrag von Fr. 75'000.-- verrechnet. Es gehe nun aber nicht an, bei der Berechnung der Überentschädigung auch auf Leistungen abzustellen, die "effektiv" nicht ausbezahlt worden, sondern umstritten seien. Er (der Beschwerdeführer) sei folglich höchstens um Fr. 22'808.50 (abzüglich der von ihm bezahlten Fr. 460.95 [vgl. Sachverhalt lit. A]) bereichert; eine Rückerstattung nach <ref-law> und Art. 23.1 AVB scheide damit im darüber hinausgehenden Betrag aus.
5.2.2. Das Verwaltungsgericht stellte fest, dass der Anspruch des Beschwerdeführers auf eine BVG-Invalidenrente für den Zeitraum von 1. November 2015 bis 31. August 2016 in Höhe von insgesamt Fr. 48'400.-- grundsätzlich unbestritten ist. Es erwog zusammengefasst, dass nicht von Relevanz sei, ob dieser Betrag tatsächlich ausbezahlt oder mit einer Forderung der Vorsorgeeinrichtung gegenüber dem Beschwerdeführer verrechnet worden sei, solange der Anspruch selbst - wie vorliegend - bestehe. Bei den konkreten Auszahlungs- und Verrechnungsmodalitäten handle es sich um Angelegenheiten zwischen dem Beschwerdeführer und seiner Vorsorgeeinrichtung.
5.2.3. Diesen Ausführungen setzt der Beschwerdeführer die Behauptung entgegen, sein Anspruch auf eine BVG-Invalidenrente für den genannten Zeitraum sei im Gegenteil umstritten, mache er doch selbst geltend, dass bis zur Erschöpfung der Krankentaggelder die Leistungen der Vorsorgeeinrichtungen aufzuschieben seien. Um einen möglichen Rentenaufschub geht es in diesem Zusammenhang aber nicht, sondern allein um die Frage, ob im Grundsatz ein Anspruch auf eine BVG-Invalidenrente für besagten Zeitraum besteht. Dies ist nach den - insoweit unangefochten gebliebenen - Erwägungen der Vorinstanz der Fall. Im Übrigen weist die Beschwerdegegnerin darauf hin, dass der Beschwerdeführer auch die Höhe der BVG-Invalidenrente von monatlich Fr. 4'840.-- im Grundsatz nicht bestritten hat. Insgesamt zeigt der Beschwerdeführer jedenfalls nicht auf, inwiefern die Vorinstanz einen Rückforderungsanspruch der Beschwerdegegnerin gestützt auf die einschlägigen Regeln in den AVB und mit Blick auf <ref-law> zu Unrecht bejaht haben soll (siehe auch Urteil 4A_425/2013 vom 6. Januar 2014 E. 3.2). Weiterungen erübrigen sich, namentlich auch zu einem allfälligen Rückforderungsanspruch der Vorsorgeeinrichtung gegenüber dem Beschwerdeführer, der in der Beschwerdeschrift verschiedentlich thematisiert wird.
6.
Die Beschwerde ist abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (<ref-law>). Die Beschwerdegegnerin hat sich durch ihren eigenen Rechtsdienst vernehmen lassen. Praxisgemäss ist daher keine Parteientschädigung zuzusprechen.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Schwyz, Kammer I, schriftlich mitgeteilt.
Lausanne, 19. Januar 2021
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Stähle