Sachverhalt:
A.
A._ (1969, Kosovare) reiste im September 1990 erstmals in die Schweiz ein und hielt sich später wiederholt in der Schweiz auf. Am 20. Mai 1993 heiratete er die niederlassungsberechtigte Landsfrau B._, weshalb er im April 1995 eine Aufenthaltsbewilligung zum Verbleib bei der Ehefrau sowie später zum Erwerb erhielt. Am 13. Februar 2003 wurden die Eheleute wegen Schulden formell verwarnt. Gleichzeitig wurde ihnen die Ausweisung angedroht. Das Ehepaar hat vier Kinder. Alle sind volljährig.
B.
Am 3. Februar 2016 ersuchte A._ um die Verlängerung seiner Aufenthaltsbewilligung. Nach Gewährung des rechtlichen Gehörs verlängerte das Migrationsamt seine Aufenthaltsbewilligung nicht und wies ihn aus der Schweiz weg. Der Rekurs an das Departement für Justiz und Sicherheit des Kantons Thurgau (DSJ) und die Beschwerde an das Verwaltungsgericht des Kantons Thurgau waren erfolglos (Entscheid vom 15. Juni 2020 bzw. vom 24. Februar 2021).
C.
Vor Bundesgericht beantragt A._ mit Einheitsbeschwerde gemäss Art. 119 Abs. 1 BGG (Beschwerde in öffentlich-rechtlichen Angelegenheiten sowie subsidiäre Verfassungsbeschwerde), Ziff. 1 und 2 des Entscheids (VG.2020.99/E) des Verwaltungsgerichts des Kantons Thurgau vom 24. Februar 2021 aufzuheben, in Gutheissung der Beschwerde ihm den weiteren Aufenthalt zu bewilligen, den Vorinstanzen zu verbieten, ihn aus der Schweiz wegzuweisen, eventuell die Sache zur weiteren Sachverhaltsabklärung an die Vorinstanz zurückzuweisen. Daneben beantragt er für das bundesgerichtliche Verfahren unentgeltliche Rechtspflege.
D.
Unter Verweis auf ihre jeweiligen Entscheide beantragen das Verwaltungsgericht, das DSJ und das Migrationsamt des Kantons Thurgau Abweisung der Beschwerde.
Antragsgemäss hat der Präsident der II. öffentlich-rechtlichen Abteilung der Beschwerde aufschiebende Wirkung zuerkannt.

Erwägungen:
1.
1.1. Auf dem Gebiet des Ausländerrechts ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen Entscheide ausgeschlossen, welche Bewilligungen betreffen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumen (Art. 83 lit. c Ziff. 2 BGG). Für das Eintreten genügt, wenn der Betroffene in vertretbarer Weise dartut, dass potenziell ein Anspruch auf die beantragte Bewilligung besteht. Ob die erforderlichen Voraussetzungen hierfür gegeben sind, bildet Gegenstand der materiellen Beurteilung und nicht des Eintretens (<ref-ruling> E. 1.1, 497 E. 3.3).
Der Beschwerdeführer macht in vertretbarer Weise geltend, dass er Anspruch auf Verlängerung der Aufenthaltsbewilligung gestützt auf Art. 43 AIG (SR 142.20; bis 31. Dezember 2019: AuG [AS 2007 5437]) und auf Art. 8 EMRK hat, lebt er doch zusammen mit seiner niederlassungsberechtigten Ehefrau nun seit 25 Jahren in der Schweiz. Da auch die übrigen Zulässigkeitsvoraussetzungen gegeben sind, ist auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten einzutreten (Art. 42, 82 lit. a i.V.m. Art. 86 Abs. 1 lit. d, Art. 89 Abs. 1, Art. 90 und Art. 100 Abs. 1 BGG). Der Beschwerdeführer hat in Bezug auf die Wegweisung subsidiäre Verfassungsbeschwerde erhoben. Dagegen ist diese grundsätzlich zulässig; ob dies im vorliegenden Fall auch zutrifft, ist weiter unten zu klären (E. 7).
1.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 und Art. 96 BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden (<ref-ruling> E. 3). In Bezug auf die Verletzung von Grundrechten gilt eine qualifizierte Rüge- und Substanziierungspflicht (Art. 106 Abs. 2 BGG; <ref-ruling> E. 2.2; <ref-ruling> E. 2.5).
1.3. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Von den tatsächlichen Grundlagen des vorinstanzlichen Urteils weicht es nur ab, wenn diese offensichtlich unrichtig, unvollständig oder in Verletzung wesentlicher Verfahrensrechte ermittelt wurden und die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG; <ref-ruling> E. 1.6). Zur Sachverhaltsfeststellung gehört auch die auf Indizien gestützte Beweiswürdigung. Die Sachverhaltsfeststellung beziehungsweise Beweiswürdigung erweist sich als willkürlich (Art. 9 BV), wenn sie offensichtlich unhaltbar oder aktenwidrig ist, wenn das Gericht Sinn und Tragweite eines Beweismittels offensichtlich verkannt hat, wenn es ohne sachlichen Grund ein wichtiges und entscheidwesentliches Beweismittel unberücksichtigt gelassen oder wenn es auf der Grundlage der festgestellten Tatsachen unhaltbare Schlussfolgerungen gezogen hat (<ref-ruling> E. 2.3). Eine entsprechende Rüge ist substanziiert vorzubringen; auf rein appellatorische Kritik an der Sachverhaltsfeststellung bzw. Beweiswürdigung geht das Gericht nicht ein (<ref-ruling> E. 2.3; <ref-ruling> E. 10.1).
2.
Der Beschwerdeführer hat am 3. Februar 2016 sein Gesuch um Verlängerung der Aufenthaltsbewilligung eingereicht. Nach Art. 126 Abs. 1 AIG ist auf Gesuche, die vor dem Inkrafttreten von Änderungen des AIG eingereicht worden sind, das alte Recht anwendbar. Insofern sind die Regelungen des AuG und der Verordnung vom 24. Oktober 2007 über Zulassung, Aufenthalt und Erwerbstätigkeit (VZAE; SR 142.201) in der am 3. Februar 2016 gültigen Fassung anwendbar.
3.
3.1. Nach Art. 43 Abs. 1 AuG (AS 2007 5437) haben ausländische Ehegatten von Personen mit Niederlassungsbewilligung Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, wenn sie mit diesen zusammenwohnen. Nach Art. 51 Abs. 2 AuG (AS 2007 5437) erlöscht u.a. der Anspruch nach Art. 43 AuG, wenn insbesondere Widerrufsgründe nach Art. 62 vorliegen. Nach Art. 62 lit. c AuG (AS 2007 5437) kann die zuständige Behörde u.a. Aufenthaltsbewilligungen widerrufen, wenn der Ausländer erheblich oder wiederholt gegen die öffentliche Sicherheit und Ordnung in der Schweiz oder im Ausland verstossen hat oder diese gefährdet oder die innere oder die äussere Sicherheit gefährdet. Der Bundesrat hat diese Bestimmung in Art. 80 Abs. 1 lit. a und b VZAE (AS 2007 5497; entspricht heute Art. 77a VZAE) konkretisiert. Liegt ein Widerrufsgrund vor, ist anschliessend zu prüfen, ob diese Massnahme verhältnismässig erscheint (Art. 96 AIG; <ref-ruling> E. 2.2).
3.2. Nach Art. 80 Abs. 1 lit. b VZAE liegt ein Verstoss gegen die öffentliche Sicherheit und Ordnung unter anderem bei mutwilliger Nichterfüllung der öffentlich-rechtlichen oder privatrechtlichen Verpflichtungen vor. Allerdings genügt rechtsprechungsgemäss Schuldenwirtschaft für sich allein nicht für den Widerruf der Niederlassungsbewilligung bzw. Aufenthaltsbewilligung (vgl. 2C_673/2020 vom 20. November 2020 E. 3.2 i.f. mit Hinweisen). Vorausgesetzt ist Mutwilligkeit, d.h. diese muss selbstverschuldet und qualifiziert vorwerfbar sein (<ref-ruling> E. 3.3); erforderlich ist ein erheblicher Ordnungsverstoss, der aber auch in einer qualifizierten Leichtfertigkeit liegen kann (Urteil 2C_789/2017 vom 7. März 2018 E. 3.3.1). Davon ist nicht leichthin auszugehen (vgl. Urteil 2C_730/2020 vom 6. Mai 2021 E. 4.1.1 mit Hinweis). Neben der Höhe der Schulden und der Anwesenheit des pflichtvergessenen Schuldners ist entscheidend, ob und inwiefern der Schuldner sich bemüht hat, seine Verbindlichkeiten abzubauen und mit den Gläubigern nach einer Lösung zu suchen (Urteil 2C_896/2020 vom 11. März 2021 E. 5.2.2). Eine durch Schicksalsschläge bedingte Nichterfüllung öffentlich-rechtlicher oder privatrechtlicher Verpflichtungen gilt nicht als mutwillig. Auch können u.a. berufliche Rückschläge von Selbständigerwerbenden diesen nicht ohne Weiteres vorgeworfen werden (Konkurs), da jedes wirtschaftliche Handeln Risiken birgt (vgl. Urteil 2C_764/2020 vom 2. März 2021 E. 3.3.1 bzw. E. 3.3.2; 2C_789/2017 vom 7. März 2018 E. 5.2.2). Die Mutwilligkeit setzt vielmehr ein von Absicht, Böswilligkeit oder qualifizierter Fahrlässigkeit getragenes Verhalten voraus (Urteile 2C_896/2020 11. März 2021 E. 5.2.2; 2C_81/2018 vom 14. November 2018 E. 3.2.2; 2C_789/2017 vom 7. März 2018 E. 3.3.1).
3.3. Wurde bereits eine ausländerrechtliche Verwarnung (Art. 96 Abs. 2 AIG) ausgesprochen, ist entscheidend, ob die ausländische Person danach weiterhin mutwillig Schulden gemacht hat. Dabei ist zu berücksichtigen, dass, wer einem betreibungsrechtlichen Verwertungsverfahren, insbesondere der Lohnpfändung, unterliegt, zum vornherein keine Möglichkeit hat, ausserhalb des Betreibungsverfahrens Schulden zu tilgen. Das führt in solchen Fällen dazu, dass im Vergleich zu früher weitere Betreibungen hinzukommen können oder der betriebene Betrag angewachsen sein kann, ohne dass allein deswegen Mutwilligkeit vorliegt. Von entscheidender Bedeutung ist, welche Anstrengungen zur Sanierung unternommen worden sind. Positiv ist etwa zu würdigen, wenn vorbestandene Schulden abgebaut worden sind. Ein Widerruf ist dagegen zulässig, wenn in vorwerfbarer Weise weitere Schulden angehäuft worden sind (vgl. Urteile 2C_896/2020 11. März 2021 E. 5.2.2; 2C_408/2019 vom Urteil vom 9. September 2019 E. 2.3).
3.4. Ob das erschwerende Tatbestandsmerkmal der Mutwilligkeit der Verschuldung erfüllt ist, hat in einem dem Untersuchungsgrundsatz unterliegenden Verfahren wie dem ausländerrechtlichen Bewilligungs- verfahren die Behörde abzuklären (vgl. Urteil 2C_882/2020 vom 6. Mai 2021 E. 3.4.3), auch wenn die Ausländerin oder der Ausländer nach Art. 90 AIG verpflichtet ist, an der Feststellung des für die Anwendung des AIG massgebenden Sachverhalts mitzuwirken (vgl. Urteil 2C_882/2020 vom 6. Mai 2021 E. 3.4.3 mit Hinweisen). Bei der Prüfung der materiellen Rechtmässigkeit eines ausländerrechtlichen Entscheids sind für das Bundesgericht in der Regel die tatsächlichen Verhältnisse massgebend, wie sie im Zeitpunkt des Entscheids der richterlichen Vorinstanz herrschten (<ref-ruling> E. 1b S. 63; Urteil 2C_573/2019 vom 14. April 2020 E. 2.4). Die Vorinstanz ist ihrerseits verpflichtet, die von den Beschwerdeführenden behaupteten Anstrengungen zur Schuldentilgung bis zum Entscheidzeitpunkt zu berücksichtigen und gestützt darauf die Schuldensituation abzuklären (vgl. <ref-ruling> E. 3.3; Urteil 2C_573/2019 vom 14. April 2020 E. 2.4). Untersuchungsgrundsatz und Mitwirkungspflicht ändern hingegen an der objektiven Beweislast nichts, wonach grundsätzlich diejenige Partei die Folgen der Beweislosigkeit eines Sachumstands zu tragen hat, die Rechte daraus ableiten wollte (Urteil 2C_573/2019 vom 14. April 2020 E. 2.4 mit Hinweisen).
4.
4.1. Aus dem vorinstanzlichen Urteil ergibt sich sachverhaltlich Folgendes: Offenbar hatten der Beschwerdeführer und seine Ehefrau bereits anfangs der 2000-Jahre Schulden, weshalb sie 2003 verwarnt wurden. Im Jahre 2009 hat der Beschwerdeführer zwei Unternehmen gegründet: am 26. August 2009 das Einzelunternehmen "C._" und am 14. April 2009 die GmbH "D._ GmbH". Über jene wurde am 15. Februar 2011 und über diese am 4. November 2014 der Konkurs eröffnet. Der Betreibungsregisterauszug vom 10. Juni 2020 enthält 24 nicht getilgte Verlustscheine aus Pfändungen der letzten 20 Jahre im Gesamtbetrag von über Fr. 115'000.--. Im Januar und Februar 2020 sind zudem Pfändungen für Forderungen im Betrag von zusammen rund Fr. 5'700.-- und im Mai 2020 von über Fr. 3'000.-- erfolgt. Die Vorinstanz folgert aus dem Betreibungsregisterauszug, dass der Beschwerdeführer nicht zahlungswillig sei. Erschwerend sei, dass es sich um öffentlich-rechtliche Forderungen wie Steuern und Krankenkassenprämien handle. Dass er die immensen Schulden mit seinem Bruttolohn von Fr. 5'200.--/Monat tilgen könne, sei auch nicht realistisch. Zu würdigen sei auch, dass er im Jahre 2003 bereits wegen Schuldenwirtschaft verwarnt worden sei. Trotz dieser Verwarnung habe sich der Beschwerdeführer weiterhin massiv verschuldet und mittlerweile lägen Verlustscheine in Höhe des fast Zehnfachen vor. Vor diesem Hintergrund sei die Mutwilligkeit zu bejahen.
4.2. Aus den vorinstanzlichen Ausführungen ergibt sich, ohne dass eine genaue Analyse der Schulden vorliegt, lediglich, wer u.a. Gläubiger des Beschwerdeführers ist (z.B. Behörden, Krankenkassen, Versicherungen) und wie hoch dessen Schulden zur Zeit sind. Die Vorinstanz bejaht die Mutwilligkeit, begründet diese aber nicht hinreichend, d.h. sie führt nicht genügend aus, ob die Verschuldung selbst verschuldet und qualifiziert vorwerfbar ist (<ref-ruling> E. 3.3). Hierzu wäre sie indes verpflichtet (2C_408/2019 vom 9. September 2019 E. 2.4.4 mit Hinweis). Dazu wäre u.a. notwendig, dass die Vorinstanz die zeitliche Abfolge der Schulden auflistet, deren Anlass nennt und festhält, ob es sich dabei um ein von Absicht, Böswilligkeit oder qualifizierter Fahrlässigkeit getragenes Verhalten gehandelt hat (siehe oben E. 3.2 i.f.), ferner, ob der Beschwerdeführer sich bemühte, Schulden abzubauen. Für die Begründung ist auch entscheidend, ob die ausländische Person auf ihr aus migrationsrechtlicher Sicht problematisches Verhalten hingewiesen oder gar verwarnt worden ist, und wenn dies zutreffen sollte, wie lange dies zurückliegt und ob die Verwarnung überhaupt noch Aktualität aufweist. Im vorliegenden Fall nimmt die Vorinstanz zwar Bezug auf die Verwarnung von 2003. Sie führt aber nicht aus, inwiefern diese nach 18 Jahren noch relevant ist, und zeigt nicht auf, inwiefern die Schuldenwirtschaft mutwillig erfolgte (vgl. oben E. 3.3).
5.
5.1. Nach Art. 80 Abs. 1 lit. a VZAE liegt auch ein Verstoss gegen die öffentliche Sicherheit und Ordnung namentlich bei einer Missachtung von gesetzlichen Vorschriften und behördlichen Verfügungen vor. Dabei verlangt der Gesetzestext, dass der Verstoss erheblich ist oder wiederholt erfolgt. Im Rahmen von Art. 80 Abs. 1 lit. a VZAE kann auch eine Summierung von Verstössen, die für sich allein genommen für einen Widerruf nicht ausreichen würden, Grund für den Widerruf bzw. die Nichtverlängerung einer Aufenthaltsbewilligung bilden, wenn die ausländische Person mit ihrem Verhalten zeigt, dass sie sich von strafrechtlichen Massnahmen nicht beeindrucken lässt, sodass sie auch künftig weder gewillt noch fähig erscheint, sich an die Rechtsordnung zu halten, was jeweils im Rahmen einer Gesamtbetrachtung zu prüfen ist (vgl. <ref-ruling> E. 2.1; Urteil 2C_136/2017 vom 20. November 2017 E. 3.3 mit Hinweisen).
5.2. Die Vorinstanz führt unter Hinweis auf den Entscheid des DSJ vom 15. Juni 2020 aus, dass der Beschwerdeführer 20 Mal einen Strafbefehl gegen sich erwirkt habe, zuletzt am 19. Dezember 2020. Die Vorinstanz stellt indes den Sachverhalt nicht fest (Art. 110 i.f. und Art. 112 Abs. 1 lit. b BGG). Der Beschwerdeführer unterlässt es, dies zu rügen (Art. 106 Abs. 2 BGG). Um allerdings beurteilen zu können, ob ein Widerrufsgrund vorliegt, ist der Sachverhalt insoweit zu vervollständigen (Art. 105 Abs. 2 BGG). Die im Entscheid des DSJ vom 15. Juni 2020 aufgelisteten Strafbefehle reichen bis ins Jahr 1996 zurück. Es handelt sich um folgende Straftaten: neun SVG-Delikte (1996, 1997, 2009, 2010, 2013 [2x], 2014, 2017 [2x]; beispielsweise: Parkverbot, Nichttragen von Gurten) neunmal die Straftat "Missbrauch von Ausweisen und Schildern" (1999, 2009 [2x], 2013 [3x], 2014, 2017), einmal ein geringfügiges Vermögensdelikt und Hehlerei (1998), je einmal die Straftat der Beschäftigung von Ausländerinnen und Ausländern ohne Bewilligung (2013) sowie von EU/EFTA-Angehörigen ohne gültige Meldung und Missachtens der Meldepflicht (2013) und einmal Unterlassung der Buchführung und Misswirtschaft (2016). Die Strafe war beim Delikt des Missbrauchs von Ausweisen und Schildern, der Beschäftigung von Ausländerinnen und Ausländern ohne Bewilligung sowie beim Delikt der Unterlassung der Buchführung und Misswirtschaft jeweils eine Geldstrafe, bei den anderen Delikten eine Busse. Um als Widerrufsgrund - auch im Rahmen von Art. 80 Abs. 1 lit. a VZAE (Urteil 2C_408/2019 vom 9. September 2019 E. 2.4.2) - gelten zu können, hat die strafrechtliche Verurteilung genügend aktuell zu sein (Urteil 2C_884/2016 vom 25. August 2017 E. 2.2; 2C_477/2008 vom 24. Februar 2009 E. 3.2.1). Entscheidend ist der Einzelfall. Gestützt auf die bundesgerichtliche Rechtsprechung ist die Aktualität für Straftaten vor 2010 (rund zehn Jahre vor dem Entscheid des Verwaltungsgerichts des Kantons Thurgau) äusserst gering (vgl. Urteil 2C_408/2019 vom 9. September 2019 E. 2.4.2 und 2.4.3 mit Hinweisen). Insgesamt verbleiben acht Straftaten, die sich über einen Zeitraum von zehn Jahren verteilen. Auch wenn es sich nicht um schwere Straftaten handelt, vermag im vorliegenden Fall bereits die blosse Anzahl solcher Delikte in einem Zeitraum von zehn Jahren den Widerrufsgrund von Art. 62 lit. c AuG zu erfüllen.
6.
Ob die Nichtverlängerung der Aufenthaltsbewilligung verhältnismässig ist, lässt sich vor Bundesgericht noch nicht prüfen. Zwar steht fest, dass aufgrund der Anzahl der Straftaten der Widerrufsgrund von Art. 62 lit. c AuG gegeben ist. Damit lässt sich das Gewicht des öffentlichen Interesses in Bezug auf diese Straftaten bestimmen. Für das Gewicht des öffentlichen Interesses ist im vorliegenden Fall allerdings auch entscheidend, ob der Beschwerdeführer mutwillig Schuldenwirtschaft betrieben hat. Die Vorinstanz hat diese Frage zwar bejaht, aber - wie dargestellt - nicht hinreichend begründet. Mutwillige Schuldenwirtschaft ist primär eine Rechtsfrage, basiert aber auf einem Sachverhalt, der für die Gewichtung des öffentlichen Interesses von Bedeutung ist. Dieser ist durch die Vorinstanz nicht erstellt, weshalb die Sache zur weiteren Abklärung im Sinne des Eventualantrags des Beschwerdeführers an diese zurückzuweisen ist.
7.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist demnach gutzuheissen, das Urteil des Verwaltungsgerichts Thurgau vom 24. Februar 2021 aufzuheben und die Sache im Sinne der Erwägungen zu weiteren Abklärungen sowie zu neuem Entscheid an die Vorinstanz zurückzuweisen. Die Behandlung der subsidiären Verfassungsbeschwerde in Bezug auf die Wegweisung erübrigt sich damit.
Die Rückweisung mit offenem Ausgang gilt praxisgemäss als Obsiegen des Beschwerdeführers, weshalb diesem (Art. 66 Abs. 1 BGG) und gestützt auf Art. 66 Abs. 4 BGG dem Kanton Thurgau keine Gerichtskosten aufzuerlegen sind. Der Kanton Thurgau hat demgegenüber dem Beschwerdeführer eine Parteientschädigung auszurichten (Art. 68 Abs. 1 BGG). Das Gesuch um unentgeltliche Rechtspflege ist damit gegenstandslos.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird gutgeheissen. Das Urteil des Verwaltungsgerichts Thurgau vom 24. Februar 2021 (VG.2020.99/E) wird aufgehoben. Die Sache wird im Sinne der Erwägungen zu weiteren Abklärungen sowie zu neuem Entscheid an die Vorinstanz zurückgewiesen.
2.
Die subsidiäre Verfassungsbeschwerde ist gegenstandslos.
3.
Es werden keine Gerichtskosten erhoben.
4.
Der Kanton Thurgau hat den Rechtsvertreter des Beschwerdeführers für das bundesgerichtliche Verfahren mit Fr. 2'500.-- zu entschädigen.
5.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Thurgau und dem Staatssekretariat für Migration schriftlich mitgeteilt.
Lausanne, 12. Oktober 2021
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Errass