Sachverhalt:
A.
A._ (Kläger, Beschwerdeführer) war vom 1. April 2016 bis 31. Januar 2018 bei der C._ AG als Sales Manager angestellt und in dieser Eigenschaft bei der B._ AG (Beklagte, Beschwerdegegnerin) kollektivkrankentaggeldversichert. Im Mai 2017 erkrankte der Kläger. Ab Juni 2017 richtete ihm die Beklagte Krankentaggelder aus. Nach Ende des Arbeitsverhältnisses trat der Kläger auf den 1. Februar 2018 von der bisherigen Kollektivkrankentaggeldversicherung in die Einzeltaggeldversicherung der Beklagten über. Nach Erschöpfung des Anspruchs auf Taggeldleistungen kündigte der Kläger den Versicherungsvertrag per 15. Juni 2019.
B.
Am 11. November 2019 erhob der Kläger beim Versicherungsgericht des Kantons Aargau Klage. Er begehrte, die Beklagte sei zu verpflichten, ihm den Betrag von Fr. 34'142.65 zuzüglich Zins innert 10 Tagen nach Rechtskraft zurück zu zahlen. Der Kläger machte geltend, die Beklagte habe ihn zu Unrecht in eine Einzeltaggeldversicherung übertreten lassen. Für den bereits eingetretenen Versicherungsfall sei die Beklagte aus dem Kollektivvertrag mit der vormaligen Arbeitgeberin leistungspflichtig. Entsprechend fordere er die für die Einzeltaggeldversicherung geleisteten Prämien zurück.
Mit Urteil vom 17. August 2020 wies das Versicherungsgericht die Klage ab.
C.
Dagegen erhob der Beschwerdeführer Beschwerde in Zivilsachen und subsidiäre Verfassungsbeschwerde an das Bundesgericht. Er begehrte, das vorinstanzliche Urteil sei aufzuheben und seine Klage sei gutzuheissen. Eventualiter sei die Sache zu neuer Beurteilung an die Vorinstanz zurückzuweisen.
Die Beschwerdegegnerin verlangte die Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Vorinstanz verzichtete mit Hinweis auf die Begründung im angefochtenen Entscheid auf die Vernehmlassung.
Die Parteien replizierten und duplizierten.

Erwägungen:
1.
1.1. Die beklagte Partei im vorinstanzlichen Verfahren war die "B._ AG". Wie die Beschwerdegegnerin zu Recht erkennt, ist dem Beschwerdeführer bei der Benennung der Gegenpartei ein Irrtum unterlaufen, indem er die "D._ AG" anstatt die "B._ AG" als Beschwerdegegnerin im bundesgerichtlichen Verfahren bezeichnete. Das Rubrum ist von Amtes wegen zu korrigieren und die "B._ AG" aufzuführen (vgl. Urteil 4A_87/2019 vom 2. September 2019 E. 1).
1.2. Im Übrigen sind die Sachurteilsvoraussetzungen der Beschwerde in Zivilsachen erfüllt und geben zu keinen weiteren Bemerkungen Anlass. Unter Vorbehalt einer rechtsgenüglichen Begründung (Erwägung 2) ist daher auf die Beschwerde in Zivilsachen einzutreten.
1.3. Damit fällt die ebenfalls erhobene subsidiäre Verfassungsbeschwerde ausser Betracht (<ref-law>). Auf diese ist nicht einzutreten.
2.
2.1. Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten (<ref-ruling> E. 2.1). In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Unerlässlich ist, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 89, 115 E. 2 S. 116).
Die Beschwerde ist innert der Beschwerdefrist vollständig begründet einzureichen (vgl. <ref-law>). Vor Bundesgericht findet in der Regel nur ein Schriftenwechsel statt (<ref-law>). Kommt es zu einem zweiten Schriftenwechsel, darf die beschwerdeführende Partei die Replik nicht dazu verwenden, ihre Beschwerde zu ergänzen oder zu verbessern (<ref-ruling> E. 1.7; <ref-ruling> E. 3.3.4). Mit Rügen, welche die beschwerdeführende Partei bereits in der Beschwerde hätte erheben können, ist sie nach Ablauf der Beschwerdefrist ausgeschlossen (<ref-ruling> E. 2.2; <ref-ruling> E. 1.7; <ref-ruling> E. 3.3.4 mit Hinweisen). Die Replik ist nur zu Darlegungen zu verwenden, zu denen die Ausführungen in der Vernehmlassung eines anderen Verfahrensbeteiligten Anlass geben (vgl. <ref-ruling> E. 2.2).
Soweit der Beschwerdeführer in seiner Replik darüber hinausgeht, kann er nicht gehört werden.
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>).
Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von <ref-law> (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
2.3. Der Beschwerdeführer schildert unter dem Titel "Sachverhalt" den Sachverhalt aus seiner eigenen Sicht. Er geht dabei über den vorinstanzlich festgestellten Sachverhalt hinaus, ohne eine hinreichende Sachverhaltsrüge nach den gerade genannten Grundsätzen zu erheben (Erwägung 2.2). Darauf kann er sich im Folgenden nicht stützen. Entsprechend geht auch die auf die eigene Sachdarstellung abgestützte Rechtsrüge fehl. Gleiches gilt, wenn er auf vorinstanzliche Klagebeilagen und auf Versicherungsbedingungen abstellt, deren Inhalt so nicht im vorinstanzlichen Sachverhalt festgestellt wurde.
2.4. Der Beschwerdeführer reicht dem Bundesgericht das Personalreglement der C._ AG und Allgemeine Versicherungsbedingungen anderer Versicherungen ein. Er führt dazu aus, das angefochtene Urteil gebe Anlass, diese Elemente im Verfahren vor Bundesgericht beizuziehen.
Nach <ref-law> dürfen neue Tatsachen und Beweismittel vor Bundesgericht nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt, was in der Beschwerde näher darzulegen ist (<ref-ruling> E. 1.2 S. 23; <ref-ruling> E. 4.1 S. 266). Der vorinstanzliche Verfahrensausgang allein bildet noch keinen hinreichenden Anlass im Sinne von <ref-law> für die Zulässigkeit von unechten Noven, die bereits im kantonalen Verfahren ohne Weiteres hätten vorgebracht werden können (<ref-ruling> E. 1.2 S. 23).
Inwiefern es sich beim Personalreglement und den eingereichten Versicherungsbedingungen um zulässige Noven im Sinne von <ref-law> handeln würde, legt der Beschwerdeführer nicht hinreichend dar und ist auch nicht ersichtlich. Vielmehr hätte der Beschwerdeführer diese tatsächlichen Elemente ohne weiteres vor der Vorinstanz vorbringen können. Diese beiden Dokumente können somit im bundesgerichtlichen Verfahren nicht berücksichtigt werden.
3.
3.1. Der Beschwerdeführer machte vor der Vorinstanz geltend, die Beschwerdegegnerin habe ihn zu Unrecht in eine Einzelttaggeldversicherung übertreten lassen, da der Leistungsfall bereits vor Beendigung des Arbeitsvertrages eingetreten sei und die Leistungspflicht daher bis zum Ende der vertraglich vereinbarten Maximaldauer aus der Kollektivversicherung auszurichten gewesen wäre.
Die Vorinstanz erwog dazu, die Beschwerdegegnerin begründe den Ausschluss der Nachleistungen unter Hinweis auf Art. 10 Abs. 3 der Allgemeinen Versicherungsbedingungen (AVB). Nach Art. 10 Abs. 3 lit. a AVB ende die "Versicherungsdeckung und der Anspruch auf Leistung", "[w]enn der Versicherte nicht mehr zum Kreis der Versicherten" zähle. Das Arbeitsverhältnis zwischen dem Beschwerdeführer und der C._ AG sei am 31. Januar 2018 beendet worden. Ab dem 1. Februar 2018 gehöre der Beschwerdeführer daher nicht mehr zum Kreis der Versicherten. Mit der Auflösung des Arbeitsverhältnisses würde damit "die Versicherungsdeckung und der Anspruch auf Leistungen" enden. Die Bestimmung, wonach auch "der Anspruch auf Leistungen" mit der Auflösung des Arbeitsverhältnisses ende, müsse aufgrund des Wortlautes und der Systematik von Art. 10 Abs. 3 AVB nach Treu und Glauben in dem Sinn verstanden werden, dass Ansprüche auf Leistungen, die durch einen während des Versicherungsverhältnisses eingetretenen Versicherungsfall begründet würden, mit dem Ausscheiden aus dem Kreis der Versicherten endeten.
Der Beschwerdeführer berufe sich zur Begründung seines Standpunkts auf die in Art. 6 AVB geregelte BVG-Koordination. Dieser Bestimmung lasse sich aber nicht entnehmen, dass ein Anspruch auf Versicherungsleistungen auch dann noch bestehen solle, wenn eine Person aus dem Kreis der Versicherten ausgeschieden sei. Insbesondere lasse sich aus der Reihenfolge der AVB-Bestimmungen nicht schliessen, die in Art. 6 geregelte BVG-Koordinationspflicht gehe der in Art. 10 enthaltenen Regel über Beginn und Ende der Versicherungsdeckung vor. Auch der Anspruch auf Leistungen im Rahmen der BVG-Koordination setze voraus, dass überhaupt noch ein Anspruch auf Leistungen bestehe. Aus Art. 6 lit. a Ziff. 1 AVB selbst ergebe sich denn auch, dass nicht in jedem Fall Leistungen bis zum Einsetzen des Anspruchs auf eine BVG-Rente ausgerichtet werden sollen. So bestehe nach dieser Bestimmung während höchstens 730 Tagen pro Fall Anspruch auf Leistungen - und zwar auch dann, wenn der Anspruch auf eine BVG-Leistung noch nicht eingesetzt habe. Art. 6 lit. a Ziff. 1 AVB erweitere die Ansprüche der Versicherten demnach nicht, sondern schränke sie mit Blick auf die BVG-Koordination ein. Auch aus diesem Grund lasse sich aus Art. 6 lit. a Ziff. 1 AVB nicht ableiten, der Anspruch auf Leistungen bestehe entgegen Art. 10 Abs. 3 lit. a AVB auch nach Beendigung des Arbeitsverhältnisses.
Aus dem Versicherungsvertrag ergebe sich somit mit hinreichender Klarheit, dass Ansprüche auf Versicherungsleistungen, die durch einen während des Versicherungsverhältnisses eingetretenen Versicherungsfall begründet worden seien, bei Beendigung des Arbeitsverhältnisses endeten.
3.2. Gegen diese Auslegung der Vertragsbestimmungen macht der Beschwerdeführer geltend, Art. 10 AVB dürfe nicht isoliert ausgelegt werden, sondern die Bestimmung sei im Rahmen der BVG-Koordination zu betrachten. Mit der Begrenzung der Leistungspflicht auf das Ende des Arbeitsverhältnisses habe die Vorinstanz klar gegen das Vertrauensprinzip verstossen.
Mit diesen Ausführungen wiederholt der Beschwerdeführer bloss seine bereits vor der Vorinstanz vorgetragenen Standpunkte. Er setzt sich damit aber nicht hinreichend mit der Auslegung der Vertragsbestimmungen durch die Vorinstanz auseinander (Erwägung 2.1), noch zeigt er rechtsgenüglich auf, inwiefern die Vorinstanz bei der Auslegung der Versicherungsbedingungen nach dem Vertrauensprinzip Bundesrecht verletzt haben soll. Insbesondere hat sich die Vorinstanz mit der Frage der BVG-Koordination eingehend befasst, ohne dass der Beschwerdeführer diesbezüglich eine Bundesrechtswidrigkeit darlegen würde. Es bleibt damit bei der Auslegung der Vorinstanz, wonach Versicherungsansprüche, die durch einen während des Versicherungsverhältnisses eingetretenen Versicherungsfall begründet worden sind, bei Beendigung des Arbeitsverhältnisses enden.
4.
4.1. Die Vorinstanz erwog in der Folge, zu prüfen bleibe, ob diese Regelung in den allgemeinen Versicherungsbedingungen vor der Ungewöhnlichkeitsregel standhalte. Eine vertragliche Regelung, wonach der Anspruch auf Versicherungsleistungen mit der Beendigung des Versicherungsvertrages ende, sei grundsätzlich zulässig. Eine solche Regelung dürfe allerdings den Vertragscharakter der Taggeldversicherung nicht ändern, ansonsten sie als ungewöhnlich zu qualifizieren sei. Im vorliegenden Fall gelte es zu berücksichtigen, dass arbeitsunfähige Versicherte, die nicht mehr zum Kreis der Versicherten gehörten, aufgrund von Art. 11 Ziff. 1 AVB das Recht hätten, ihre Versicherungsdeckung beim Versicherer als Einzelversicherte fortzuführen. Mit dem Recht, in die Einzelversicherung überzutreten, werde die Regel ergänzt, wonach der Anspruch auf Versicherungsleistung bei Aufhebung des Arbeitsvertrages ende. Damit werde der Vertragscharakter der Taggeldversicherung ohne weiteres gewahrt. Der Versicherte habe aufgrund des Übertrittrechts die Möglichkeit, die Ansprüche aus dem eingetretenen Versicherungsfall sinnvoll zu wahren. Die Ungewöhnlichkeitsregel sei daher nicht anwendbar.
4.2. Dagegen ist der Beschwerdeführer der Auffassung, dass die Vorinstanz Art. 10 Abs. 3 AVB zu Unrecht nicht als ungewöhnlich qualifiziert habe. Er sei ein schlichter Arbeitnehmer, der keine Möglichkeit gehabt habe, auf die Vertragsverhandlungen und den Vertragsschluss Einfluss zu nehmen. Die vertragliche Regelung führe zu einem stossenden Ergebnis, da der Arbeitnehmer nach der Beendigung des Arbeitsverhältnisses die Weiterversicherung alleine zu tragen habe. Es liege auch kein BVG-koordiniertes Versicherungsverhältnis mehr vor und seine Deckungserwartungen würden "umfassend ausgehebelt".
Mit diesen Vorbringen setzt sich der Beschwerdeführer nicht hinreichend mit den Ausführungen der Vorinstanz auseinander (Erwägung 2.1). Er widerlegt namentlich die Argumentation der Vorinstanz nicht rechtsgenüglich, dass der Beschwerdeführer nach den vorliegend anwendbaren Versicherungsbedingungen das Recht habe, in die Einzelversicherung überzutreten, womit der Vertragscharakter der Taggeldversicherung gewahrt bleibe (vgl. Urteil 4A_238/2019 vom 2. Dezember 2019 E. 3.4.2). Es bleibt damit bei der Auffassung der Vorinstanz, dass es der genannten Bestimmung an der Ungewöhnlichkeit fehlt.
5.
5.1. Der Beschwerdeführer bringt schliesslich vor, dass es willkürlich und eine Rechtsverweigerung sei, dass die Vorinstanz im angefochtenen Entscheid mit keinem Wort auf das von ihm in der Klageschrift erwähnte Urteil des aargauischen Versicherungsgerichts vom 17. Oktober 2014 eingegangen sei.
5.2. Inwiefern die Vorinstanz willkürlich gehandelt oder ihm das Recht verweigert hätte, zeigt der Beschwerdeführer nicht auf (Erwägung 2.1). Sollte er damit eine Verletzung des Begründungsanspruches als Ausfluss seines Anspruchs auf rechtliches Gehör nach <ref-law> geltend machen wollen, ist der Vorwurf offensichtlich unbegründet:
Aus der Begründungspflicht folgt die Verpflichtung der Behörde, ihren Entscheid zu begründen. Dabei ist es nicht erforderlich, dass sie sich mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Punkte beschränken. Die Begründung muss so abgefasst sein, dass sich der Betroffene über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen kann. In diesem Sinne müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde hat leiten lassen und auf die sich ihr Entscheid stützt (<ref-ruling> E. 5.2 mit Hinweisen). Diesen Anforderungen genügt das angefochtene Urteil ohne Zweifel.
6.
Die Beschwerde ist nach dem Gesagten abzuweisen, soweit darauf überhaupt eingetreten werden kann.
Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (<ref-law>). Der Beschwerdegegnerin, die nicht durch einen extern mandatierten Anwalt, sondern durch ihren eigenen Rechtsdienst vertreten ist, steht keine Parteientschädigung zu (Art. 68 Abs. 1 und 2 BGG; <ref-ruling> E. 4).

Demnach erkennt das Bundesgericht:
1.
Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
2.
Die Beschwerde in Zivilsachen wird abgewiesen, soweit darauf einzutreten ist.
3.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien und dem Versicherungsgericht des Kantons Aargau, 3. Kammer, schriftlich mitgeteilt.
Lausanne, 15. Februar 2021
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Brugger