Erwägungen:
1.
1.1. A.A._, geboren 1972, ist deutscher Staatsangehöriger. Er zog am 20. Februar 2004 mit einer Bewilligung zum Erwerbsaufenthalt in die Schweiz. Seine kosovarische Verlobte B.A._ (geboren 1980) und die gemeinsamen Kinder C.A._ (geboren 2000) und D.A._ (geboren 2003) folgten ihm nach und erhielten nach der Heirat von A.A._ und B.A._ eine Aufenthaltsbewilligung. Am 11. August 2008 wurde A.A._ wegen seiner Straffälligkeit und desolaten finanziellen Situation ausländerrechtlich verwarnt.
1.2. Nachdem sich die Situation nicht verbessert hatte, verweigerte das Migrationsamt des Kantons Thurgau am 9. November 2017 die erneute Verlängerung der Aufenthaltsbewilligungen und wies die Familie aus der Schweiz weg. Die dagegen erhobenen Rechtsmittel wiesen das Departement für Justiz und Sicherheit des Kantons Thurgau am 20. September 2018 und das Verwaltungsgericht des Kantons Thurgau am 3. April 2019 ab.
1.3. Mit Beschwerde vom 24. Mai 2019 beantragen A.A._ und B.A._ dem Bundesgericht sinngemäss, es sei ihnen und ihren Kindern der weitere Aufenthalt zu gestatten. Zudem beantragen sie die Erteilung der aufschiebenden Wirkung. Das Bundesgericht hat weder die vorinstanzlichen Akten beigezogen noch andere Instruktionsmassnahmen verfügt. Mit dem vorliegenden Entscheid in der Sache wird das Gesuch um aufschiebende Wirkung gegenstandslos.
2.
2.1. Gemäss Art. 42 Abs. 1 und 2 BGG haben Rechtsschriften unter anderem die Begehren und deren Begründung zu enthalten, wobei in der Begründung in gedrängter Form darzulegen ist, inwiefern der angefochtene Akt Recht verletzt. <ref-law> nennen dabei die zulässigen Rügegründe. Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Dabei gelten strenge Anforderungen an die Begründungspflicht (<ref-ruling> E. 9.2.3.6 S. 96 f.).
2.2. Das Verwaltungsgericht hat erwogen, dass der Beschwerdeführer 1 einer selbständigen Erwerbstätigkeit nachgehe. Für die Erteilung bzw. Verlängerung der Aufenthaltsbewilligung EU/EFTA sei entscheidend, dass ein regelmässiges Einkommen erzielt werde und keine Sozialhilfebedürftigkeit bestehe. Gemäss Betreibungsregisterauszug vom 14. August 2018 habe der Beschwerdeführer 1 50 betreibungsrechtliche Vorgänge über Fr. 268'354'05 sowie 30 offene Verlustscheine über Fr. 113'943.--, die Beschwerdeführerin 2 23 betreibungsrechtliche Vorgänge über Fr. 56'345.25 sowie 19 offene Verlustscheine über Fr. 52'069.55 und die dem Beschwerdeführer 1 gehörende Gesellschaft (E._ GmbH) 14 betreibungsrechtliche Vorgänge über Fr. 22'774.55. Zudem seien die Beschwerdeführerin 2 und die Kinder mit Fr. 16'848.65 von der öffentlichen Fürsorge unterstützt worden. Die Beschwerdeführer seien somit stark verschuldet. Der Beschwerdeführer 1 verfüge seit Jahren nicht über genügend finanzielle Mittel, um für den Lebensunterhalt seiner Familie aufzukommen. Er habe es trotz Verwarnung unterlassen, in der Schweiz eine existenzsichernde Tätigkeit zu suchen und ein schulden- und straffreies Leben zu führen. Die Nichtverlängerung der Aufenthaltsbewilligungen der Beschwerdeführer sei verhältnismässig.
2.3. Die Beschwerdeführer berufen sich vor Bundesgericht auf den Arbeitsunfall des Beschwerdeführers 1 vom 11. September 2018. Er habe sich deshalb vom 6. März 2019 bis 10. April 2019 in einer Rehaklinik aufgehalten und sei von der SUVA bei der Invalidenversicherung angemeldet worden. Es liege auf der Hand, dass mit Eintritt des Unfalls das Einkommen teilweise ausgeblieben sei. Die Gesamtumstände des Unfalls seien nicht berücksichtigt worden. Entgegen den vorinstanzlichen Ausführungen werde die pfändbare Quote von den Taggeldleistungen direkt abgezogen. Zudem seien die Ausführungen des Verwaltungsgerichts zur ehelichen Beistandspflicht "an den Haaren herbeigezogen" und die Tochter befinde sich im 3. Lehrjahr, was für eine "Vollintegration" spreche. Der Konkurs der E._ GmbH sei überbewertet worden. Die private Schuldentilgung sei im Rahmen des Möglichen wahrgenommen worden.
2.4. Gemäss den vorinstanzlichen Ausführungen haben die Beschwerdeführer ihre Beschwerde an das Verwaltungsgericht vom 11. Oktober 2018 damit begründet, dass sie finanziell auf eigenen Beinen stünden und bis auf Kleinigkeiten alles bezahlt hätten. Der bereits im September 2018 erfolgte Arbeitsunfall wird erst in der Replik vom 5. Dezember 2018 thematisiert, wobei die Beschwerdeführer dort ausgeführt haben, die Ausgangslage für 2019 sei hervorragend. Wenn die Beschwerdeführer nun ihre schlechte finanzielle Situation hauptsächlich auf den Arbeitsunfall zurückführen wollen, ist dies einerseits unglaubwürdig, nachdem der Unfall erst sechs Monate zurückliegt und das Verwaltungsgericht das finanzielle Gebaren des Beschwerdeführers 1 der letzten Jahre untersucht hat. Andererseits stellen die entsprechenden Ausführungen nach <ref-law> unzulässige neue Tatsachen und Beweismittel dar, die vor Bundesgericht nicht berücksichtigt werden können. Ob mit der Anmeldung bei der Invalidenversicherung ein Revisionsgrund vorliegt, ist nicht vom Bundesgericht zu entscheiden. Was die beanstandeten Ausführungen zur ehelichen Beistandspflicht und zum Konkurs der E._ GmbH betrifft, ist nicht ersichtlich, wo das Verwaltungsgericht diese Aussagen getroffen haben soll. Ebenso zielt der Einwand ins Leere, die Tochter befinde sich im 3. Lehrjahr und sei voll integriert. Die Vorinstanz hat die Integration der Tochter nicht angezweifelt und erwogen, dass sie ihre Berufslehre allenfalls vom Ausland aus in der Schweiz abschliessen könne. Was die private Schuldentilgung betrifft, so bezieht sich diese gemäss den eingereichten Beilagen lediglich auf die Rückzahlung der von der Gemeinde übernommenen Krankenkassenprämien, wobei die Beschwerdeführer erst Fr. 1'800.-- von total Fr. 26'410.10 zurückerstattet haben. In Bezug auf die festgelegte pfändbare Lohnquote hat die Vorinstanz festgehalten, dass diese nur zum Teil und ab August 2018 nicht mehr bezahlt worden sei. Inwieweit der Umstand, dass die SUVA die pfändbare Quote (gemäss Beilagen ab Dezember 2018) direkt von den Taggeldleistungen in Abzug gebracht hat, etwas an der vorinstanzlichen Feststellung ändert, wonach die Beschwerdeführer massiv überschuldet sind und seit Jahren nicht über die Mittel verfügen, um ihren Lebensunterhalt selber zu bestreiten, ist nicht ersichtlich.
2.5. Auch unter Berücksichtigung, dass die Beschwerdeführer eine Laienbeschwerde eingereicht haben und die formellen Hürden daher praxisgemäss niedriger anzusetzen sind (Urteil 2D_42/2017 vom 28. November 2017 E. 2.4), fehlt es der Beschwerde offensichtlich an einer hinreichenden Begründung, weshalb darauf im vereinfachten Verfahren nach <ref-law> nicht einzutreten ist. Anzumerken ist, dass weder im angefochtenen Entscheid noch in der Beschwerde an das Bundesgericht thematisiert worden ist, ob der mittlerweile volljährigen Tochter ein eigenständiger Aufenthaltsanspruch zukommen könnte, weshalb darauf nicht näher einzugehen ist.
3.
Bei diesem Verfahrensausgang sind die Gerichtskosten den Beschwerdeführern 1 und 2 aufzuerlegen (<ref-law>). Parteientschädigungen sind nicht zuzusprechen (<ref-law>).

Demnach erkennt der Präsident:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 1'000.-- werden den Beschwerdeführern 1 und 2 unter solidarischer Haftbarkeit auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Thurgau und dem Staatssekretariat für Migration schriftlich mitgeteilt.
Lausanne, 29. Mai 2019
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Businger