Sachverhalt:
A. Der 1981 geborene kroatische Staatsangehörige X._ reiste im Alter von rund zehn Jahren im Rahmen des Familiennachzugs in die Schweiz ein und erhielt hier die Niederlassungsbewilligung. Er ist ledig, hat aber zwei Kinder (geb. 2005 und 2007), welche bei ihrer Mutter in A._ leben.
Das Verhalten von X._ in der Schweiz gab Anlass zu schweren Klagen:
-
Mit Strafverfügung des Bezirksamtes A._ vom 16. September 2002 wurde er wegen einer massiven Überschreitung der zulässigen Höchstgeschwindigkeit (mindestens 122 km/h statt der erlaubten 80 km/h) zu einer Busse von Fr. 1'400.-- verurteilt;
-
Mit Strafverfügung des Bezirksamtes A._ vom 13. Dezember 2002 wurde er wegen einer Überschreitung der zulässigen Höchstgeschwindigkeit innerorts (mindestens 73 km/h statt der erlaubten 50 km/h) zu einer Busse von Fr. 350.-- verurteilt;
-
Mit Strafverfügung des Bezirksamtes A._ vom 25. März 2003 wurde er wegen Nichttragens der Sicherheitsgurten zu einer Busse von Fr. 60.-- verurteilt;
-
Mit Strafverfügung des Bezirksamtes A._ vom 13. Oktober 2003 wurde er wegen Nichttragens der Sicherheitsgurten zu einer Busse von Fr. 60.-- verurteilt;
-
Am 8. Februar 2006 sprach das Bezirksgericht A._ X._ wegen mehrfachen Diebstahls, mehrfacher Sachbeschädigung, mehrfachen Hausfriedensbruchs und Fahrens trotz Entzugs des Führerausweises schuldig und es verurteilte ihn zu einer Gefängnisstrafe von sieben Wochen sowie zu einer Busse von Fr. 400.--.
Als Folge dieser Delinquenz wurde X._ am 30. März 2006 vom Ausländeramt des Kantons Thurgau verwarnt. Es wurde ihm klar verständlich gemacht, dass er sich in Zukunft in jeder Hinsicht klaglos zu verhalten habe. Für den Fall weiterer Gesetzesverstösse drohte ihm das Ausländeramt die Ausweisung aus der Schweiz an.
Nichtsdestoweniger verübte X._ zahlreiche weitere strafbare Handlungen:
-
Mit Strafverfügung vom 30. Oktober 2006 wurde er vom Bezirksamt A._ des Ungehorsams im Betreibungsverfahren (Nichtbefolgen von betreibungsamtlichen Vorladungen und Verweigerung der Auskunftserteilung betreffend Einkommens- und Vermögensverhältnisse) schuldig erklärt und zu einer Busse von Fr. 150.-- verurteilt;
-
Am 18. Dezember 2007 wurde er vom Bezirksamt A._ abermals wegen Ungehorsams im Betreibungsverfahren schuldig gesprochen und mit einer Busse von Fr. 200.-- bestraft;
-
Am 5. Februar 2008 wurde er vom Bezirksamt B._ wegen Nichttragens der Sicherheitsgurten zu einer Busse von Fr. 60.-- verurteilt;
-
Am 22. April 2009 wurde er der Widerhandlung gegen das Transportgesetz schuldig erklärt und vom Bezirksamt A._ mit einer Busse von Fr. 60.-- bestraft;
-
Mit Verfügung der Staatsanwaltschaft des Kantons D._ vom 14. Mai 2009 wurde er wegen Widerhandlungen gegen das Betäubungsmittelgesetz zu einer Busse von Fr. 50.-- verurteilt;
-
Das Bezirksamt A._ verurteilte ihn am 17. Juni 2009 wegen erneuter Widerhandlung gegen das Betäubungsmittelgesetz zu einer Busse von Fr. 200.--;
-
Am 26. Juni 2009 wurde er vom Bezirksamt A._ der Widerhandlung gegen das Transportgesetz schuldig erklärt und zu einer Busse von Fr. 120.-- verurteilt;
-
Mit Strafverfügung vom 18. November 2009 sprach ihn das Bezirksamt A._ des Ungehorsams im Betreibungsverfahren schuldig und es bestrafte ihn mit einer Busse von Fr. 250.--;
-
Mit Strafverfügung vom 17. Dezember 2009 wurde er durch das Bezirksamt A._ der Widerhandlung gegen das Ausländergesetz schuldig erkannt und zu einer Busse von Fr. 120.-- verurteilt;
-
Mit Strafverfügung vom 21. Januar 2010 wurde er durch das Bezirksamt C._ der Widerhandlung gegen das Ausländergesetz schuldig erkannt und zu einer Busse von Fr. 120.-- verurteilt;
-
Am 16. Februar 2010 wurde er vom Bezirksamt C._ der Missachtung einer amtlichen Verfügung schuldig erklärt und zu einer Busse von Fr. 300.-- verurteilt;
-
Am 20. September 2010 verurteilte ihn das Bezirksamt C._ wegen Widerhandlung gegen das Betäubungsmittelgesetz zu einer Busse von Fr. 120.--;
-
Am 10. Dezember 2010 verurteilte ihn das Bezirksamt A._ wegen Widerhandlung gegen das Betäubungsmittelgesetz zu einer Busse von Fr. 300.--;
Nebst diesen rechtskräftigen Verurteilungen sind gegen X._ noch weitere Strafverfahren wegen Hehlerei und Widerhandlungen gegen das Betäubungsmittelgesetz anhängig.
X._ hat sich während seines Aufenthaltes in der Schweiz in beträchtlichem Ausmass verschuldet. Am 23. November 2009 war er beim registerführenden Betreibungsamt A._ mit 17 Betreibungen über insgesamt Fr. 32'684.65 und 16 offenen Verlustscheinen über Fr. 28'055.80 verzeichnet. Per 14. Juni 2010 waren beim Betreibungsamt gar 20 Betreibungen über Fr. 45'986.15 und 20 offene Verlustscheine über Fr. 42'461.45 registriert.
Vom 15. Januar 2009 bis zum 30. Juni 2009 musste X._ zudem von der Sozialhilfe der Stadt A._ unterstützt werden. Insgesamt wurden ihm von der öffentlichen Hand Fr. 8'606.10 ausbezahlt.
B. Mit Entscheid vom 12. März 2010 widerrief das Migrationsamt des Kantons Thurgau die Niederlassungsbewilligung von X._ und wies ihn zugleich aus der Schweiz weg. Hiergegen rekurrierte X._ ohne Erfolg beim Departement für Justiz und Sicherheit des Kantons Thurgau: Dieses wies den Rekurs am 12. August 2010 ab. Eine daraufhin von X._ erhobene Beschwerde wurde mit Urteil des Verwaltungsgerichts des Kantons Thurgau vom 16. Februar 2011 ebenfalls abgewiesen.
C. Mit Eingabe vom 8. April 2011 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er beantragt im Wesentlichen, dass auf den Widerruf seiner Niederlassungsbewilligung zu verzichten sei.
Das Verwaltungsgericht und das Migrationsamt des Kantons Thurgau sowie das Bundesamt für Migration schliessen auf Abweisung der Beschwerde. Das Departement für Justiz und Sicherheit des Kantons Thurgau liess sich innert Frist nicht vernehmen.

Erwägungen:
1. Nach <ref-law> ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten auf dem Gebiet des Ausländerrechts unzulässig gegen Entscheide betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt. Vorliegend geht es nicht um die erstmalige Erteilung oder die Verlängerung, sondern um den Widerruf einer bereits gewährten Bewilligung. Die Beschwerde bleibt in diesem Zusammenhang zulässig, soweit die Bewilligung - wäre sie nicht widerrufen worden - nach wie vor Rechtswirkungen entfalten würde. Dies ist bei der unbefristeten Niederlassungsbewilligung der Fall (vgl. <ref-ruling> E. 1.2.1 S. 4). Die Zulässigkeit des Rechtsmittels beruht auf dem schutzwürdigen Vertrauen, dass eine einmal erteilte Bewilligung für die Dauer ihrer Gültigkeit fortbesteht und grundsätzlich nicht in die entsprechende Rechtsposition eingegriffen wird (vgl. Urteile 2C_515/2009 vom 27. Januar 2010 E. 1.1; 2C_21/2007 vom 16. April 2007 E. 1.2). Als Adressat des angefochtenen, kantonal letztinstanzlichen Urteils (<ref-law>) ist der Beschwerdeführer ohne Weiteres zur Beschwerdeführung legitimiert (<ref-law>). Auf das im Übrigen form- und fristgerecht eingereichte Rechtsmittel (Art. 42 und Art. 100 Abs. 1 BGG) ist daher einzutreten.
2. Der Beschwerdeführer rügt eine Verletzung seines Anspruchs auf rechtliches Gehör (<ref-law>). Die Vorinstanz habe sich mit Schreiben vom 11. Februar 2011 selbstständig an seine Arbeitgeber gewandt und sich nach seinen Arbeitsleistungen erkundigt. Von diesen Abklärungen sei er, der Beschwerdeführer, nicht in Kenntnis gesetzt worden. Auch seien die durchwegs positiven Rückmeldungen weder zu den Akten genommen noch im angefochtenen Entscheid berücksichtigt worden. Dies wiege besonders schwer, zumal die Informationen des Arbeitgebers die Interessenabwägung des Gerichts massgeblich hätten beeinflussen müssen.
Die Rüge geht ins Leere: Den Verfahrensakten des Verwaltungsgerichts kann entnommen werden, dass die zwei fraglichen Antwortscheiben sehr wohl im Dossier eingeordnet wurden (act. 22 und act. 23 der vorinstanzlichen Akten). Ebenfalls ist aufgrund der Datierung dieser Eingaben (16. Februar 2011 bzw. 23. Februar 2011) ohne Weiteres ersichtlich, dass diese das Verwaltungsgericht erst nach dem Urteilsspruch vom 16. Februar 2011 erreicht haben können. Zwar mutet es seltsam an, wenn das Verwaltungsgericht Auskünfte einholt, aber dann nach wenigen Tagen bereits entscheidet, bevor die Auskünfte eingetroffen sind. Im konkreten Fall kann darin jedoch keine Gehörsverweigerung erblickt werden: Der Beschwerdeführer selbst hat dem Verwaltungsgericht am 2. September 2010 als Beilage zu seiner Beschwerdeschrift bereits entsprechende Bescheinigungen des Arbeitgebers bzw. des Arbeitsvermittlers eingereicht. Das Verwaltungsgericht stellte auf diese Bestätigungen ab und ging in seinem Urteil - zugunsten des Beschwerdeführers - davon aus, dass das Anstellungsverhältnis mit diesen Unternehmen noch immer andauert. Die beiden Eingaben bestätigen bloss den Sachverhalt, von dem die Vorinstanz auch ausgegangen ist. Hätte der Beschwerdeführer es für zwingend nötig erachtet, dass aktuellere Bescheinigungen beigezogen werden, so wäre es ihm zudem freigestanden, diese entweder selbst zu produzieren oder einen entsprechenden Beweisantrag beim Gericht zu stellen, was er jedoch nicht getan hat.
3. Die Niederlassungsbewilligung kann gemäss Art. 63 Abs. 1 lit. b des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (Ausländergesetz, AuG; SR 142.20) widerrufen werden, wenn der Ausländer in schwerwiegender Weise gegen die öffentliche Sicherheit und Ordnung in der Schweiz oder im Ausland verstossen hat oder diese gefährdet. In solchen Fällen ist ein Bewilligungswiderruf sogar dann zulässig, wenn sich der Ausländer - wie vorliegend - seit mehr als 15 Jahren ununterbrochen und ordnungsgemäss in der Schweiz aufgehalten hat (Art. 63 Abs. 2 AuG). In jedem Fall bleibt aber zu prüfen, ob eine solche Massnahme als verhältnismässig erscheint. Dabei sind namentlich die Schwere des Verschuldens, der Grad der Integration bzw. die Dauer der bisherigen Anwesenheit sowie die dem Betroffenen drohenden Nachteile zu berücksichtigen (Art. 54 und Art. 96 AuG; <ref-ruling> E. 4.3 ff. S. 381 ff.).
4. Der Beschwerdeführer behauptet im Wesentlichen, dass er durch sein Verhalten den Widerrufsgrund von Art. 63 Abs. 1 lit. b AuG nicht erfüllt habe und ein Widerruf seiner Niederlassungsbewilligung jedenfalls nicht verhältnismässig sei.
Er führt in diesem Zusammenhang ins Feld, dass er mit Ausnahme der beiden Strafen vom 16. September 2002 und vom 8. Februar 2006 lediglich für Übertretungen zur Rechenschaft gezogen worden sei. Diesen komme im ausländerrechtlichen Verfahren eine stark untergeordnete Rolle zu. Gleiches gelte auch für seine finanzielle Ausstände.
Bezüglich seiner beruflichen Integration müsse positiv berücksichtigt werden, dass er seit knapp einem Jahr bei einer Bauunternehmung angestellt sei und er von seinem Arbeitgeber als "stets anständig und immer pünktlich" beschrieben werde. Auch mit seinen Arbeitsleistungen sei die Unternehmung sehr zufrieden.
Generell müsse festgehalten werden, dass die Vorinstanz den relevanten, positiven Fakten bei der Interessenabwägung keine Beachtung geschenkt und stattdessen Nebensächlichkeiten benutzt habe, um ihn, den Beschwerdeführer, in ein schlechtes Licht zu rücken. Fast sämtliche Lebenssachverhalte, Ereignisse und Gegebenheiten würden zu seinen Ungunsten ausgelegt.
Schliesslich beruft sich der Beschwerdeführer auf verschiedene Urteile des Bundesgerichts und moniert, dass in anderen Fällen ein Widerruf der Niederlassungsbewilligung trotz vergleichsweise schwererer Delinquenz als unverhältnismässig erachtet wurde.
5. Die Einwendungen des Beschwerdeführers überzeugen nicht:
5.1 In <ref-ruling> E. 3 S. 302 ff. hat das Bundesgericht näher bestimmt, wann die Voraussetzungen von Art. 63 Abs. 1 lit. b AuG erfüllt sind und von einem "in schwerwiegender Weise" erfolgten Verstoss gegen die öffentliche Sicherheit und Ordnung auszugehen ist: Dies ist zwar in erster Linie dann der Fall, wenn die ausländische Person durch ihre Handlungen besonders hochwertige Rechtsgüter wie namentlich die körperliche, psychische und sexuelle Integrität eines Menschen verletzt oder gefährdet hat, was hier nicht der Fall ist. Indes können auch vergleichsweise weniger gravierende Pflichtverletzungen als "schwerwiegend" i.S.v. Art. 63 Abs. 1 lit. b AuG bezeichnet werden: So ist ein Widerruf der Niederlassungsbewilligung namentlich auch dann möglich, wenn sich eine ausländische Person von strafrechtlichen Massnahmen nicht beeindrucken lässt und damit zeigt, dass sie auch zukünftig weder gewillt noch fähig ist, sich an die Rechtsordnung zu halten. Dies bedeutet, dass auch eine Summierung von Verstössen, die für sich genommen für einen Widerruf nicht ausreichen würden, einen Bewilligungsentzug rechtfertigen können. Sogar das Bestehen von privatrechtlichen Schulden kann gegebenenfalls einen schwerwiegenden Verstoss gegen die öffentliche Sicherheit und Ordnung darstellen, wenn die Verschuldung mutwillig erfolgt ist.
5.2 Im vorliegenden Fall steht fest, dass der Beschwerdeführer während einer Periode von mittlerweile fast zehn Jahren fortlaufend delinquiert hat. Unabhängig davon, welcher strafrechtlichen Deliktskategorie die von ihm begangenen Straftaten zuzuordnen sind, handelt es sich hierbei keinesfalls nur um Bagatelldelinquenz, wie der Beschwerdeführer dies implizit behauptet: So lag dem Urteil des Bezirksgerichts A._ vom 8. Februar 2006 insbesondere zugrunde, dass sich der Beschwerdeführer an mehreren Einbruch- bzw. Einschleichdiebstählen beteiligt hat. Ein nicht zu unterschätzendes Risiko für die Bevölkerung stellen zudem die vom Beschwerdeführer verübten Strassenverkehrsdelikte, insbesondere die massiven Überschreitungen der zulässigen Geschwindigkeit, dar: Es erscheint als blosser Zufall, dass bei solch verantwortungslosen Tempoexzessen bis anhin noch niemand zu Schaden gekommen ist. Die übrigen Delikte erscheinen jeweils für sich alleine betrachtet als weniger schwerwiegend. In ihrer Gesamtheit führen sie jedoch eindrücklich vor Augen, dass der Beschwerdeführer offensichtlich weder gewillt noch in der Lage ist, die hiesige Rechtsordnung zu respektieren: So kümmerte er sich beispielsweise weder um die Anordnungen des Strassenverkehrsamts, welches ihm den Führerschein entzogen hatte, noch um die Anordnungen und Verfügungen des zuständigen Betreibungsamtes, welches ihn zur Mitwirkung bei der Feststellung seiner finanziellen Lage aufforderte. Auch die Anordnungen von Gemeindekanzleien und Fremdenpolizeibehörden, welche ihn zur ordnungsgemässen Meldung anhielten, ignorierte der Beschwerdeführer beharrlich. Die selbe Gleichgültigkeit offenbarte er auch gegenüber seinen finanziellen Verpflichtungen: Aus den Betreibungsregisterauszügen geht hervor, dass er zahlreiche, insbesondere öffentlich-rechtliche Forderungen (Steuern, Gerichtsgebühren, Krankenkassenprämien) in beträchtlicher Höhe unbezahlt liess. Es erhellt ohne Weiteres, dass eine Person, die sich derart systematisch, in allen Bereichen des alltäglichen Lebens, um rechtliche Schranken und Pflichten foutiert, in schwerwiegender Weise gegen die öffentliche Sicherheit und Ordnung in der Schweiz verstösst oder diese gefährdet. Der Widerrufsgrund von Art. 63 Abs. 1 lit. b AuG muss demzufolge als erfüllt angesehen werden. Ebenso resultiert aus dem bisher Ausgeführten, dass ein beachtliches öffentliches Interesse an der verfügten fremdenpolizeilichen Massnahme gegen den Beschwerdeführer besteht.
5.3 Spezifische persönliche Umstände, die einer Ausreise des Beschwerdeführers entgegenstehen würden, liegen nicht vor: Der Beschwerdeführer hat seine Kindheit und die ersten Schuljahre in seiner Heimat verbracht und ist serbo-kroatischer Muttersprache. Es trifft zu, dass er sich schon seit langer Zeit - nunmehr zwanzig Jahre - in der Schweiz aufhält. In diesem Zusammenhang ist jedoch ebenfalls festzuhalten, dass diese lange Aufenthaltsdauer nicht ansatzweise mit dem Grad seiner Integration übereinstimmt: Nebst der ständigen Delinquenz und der äusserst prekären finanziellen Lage des Beschwerdeführers fällt auf, dass er auch keine Berufsausbildung absolviert hat. Gegenwärtig geht er zwar einer Erwerbstätigkeit nach, doch war er immer wieder arbeitslos und musste zeitweise gar von der öffentlichen Sozialhilfe unterhalten werden. Unbehelflich ist schliesslich auch der Hinweis des Beschwerdeführers auf die Beziehung zu seinen von ihm getrennt lebenden, ausserehelichen Kindern: Obwohl er vom Departement für Justiz und Sicherheit des Kantons Thurgau ausdrücklich aufgefordert wurde, nähere Angaben zum Verhältnis zu seinen Kindern zu machen, unterliess dies der Beschwerdeführer auch innert erstreckter Frist und kam damit einmal mehr seinen Mitwirkungspflichten nicht nach. Einem Schreiben der Schwester des Beschwerdeführers ist immerhin zu entnehmen, dass er seine Kinder regelmässig besuche. Inwiefern diese Besuche aber einen dauernden Aufenthalt des Beschwerdeführers in der Schweiz erforderlich machen sollen, wird nicht aufgezeigt und es ist dies auch nicht ersichtlich.
5.4 Auch der Verweis des Beschwerdeführers auf verschiedene bundesgerichtliche Urteile geht ins Leere: Im von ihm angerufenen Urteil 2C_745/2008 vom 24. Februar 2009 wurde die Verhältnismässigkeit einer fremdenpolizeilichen Fernhaltemassnahme zwar verneint; massgebend hierfür war aber, dass der dort betroffene Ausländer gemäss dem erwähnten Entscheid "im Allgemeinen eine positive Grundhaltung zur Rechtsordnung" hatte und sowohl verhaltensmässig als auch in finanzieller Hinsicht klare Anzeichen einer Besserung erkennen liess. Dies ist vorliegend beim Beschwerdeführer gerade nicht der Fall: Die permanente Delinquenz des Beschwerdeführers und sein renitentes Verhalten gegenüber Behörden sprechen vielmehr für eine ausgesprochene Geringschätzung der schweizerischen Rechtsordnung. Auch in finanzieller Hinsicht ist beim Beschwerdeführer keine Stabilisierung erfolgt; die Schulden sind zwischen Ende 2009 und Mitte 2010 sogar noch in beträchtlichem Ausmass weiter angestiegen. Im Fall 2C_745/2008 war zudem von (mit)entscheidender Bedeutung, dass der dort betroffene Ausländer mit seiner Ehefrau und seinen drei Kindern zusammenlebte und das gemeinsame Familienleben durch die im Raum stehende Fernhaltemassnahme stark beeinträchtigt worden wäre; auch in dieser Beziehung unterscheidet sich der hier vorliegende Fall. Gleiches gilt im Wesentlichen in Bezug auf den vom Beschwerdeführer ebenfalls angerufenen Entscheid 2A.468/2000 vom 16. März 2001: Dort war ebenfalls entscheidend, dass eine klare Besserung bzw. Stabilisierung der Lebenssituation des Ausländers eingetreten ist. Zudem unterscheidet sich jener Sachverhalt vom vorliegenden insoweit, als es dort um einen Schwerstsüchtigen ging, dessen Straftaten im Zusammenhang mit seiner Rauschgiftabhängigkeit standen, und der Betroffene stetig Bemühungen unternommen hat, um von seiner Sucht loszukommen.
5.5 Aus den genannten Gründen ist es nicht zu beanstanden, wenn die Vorinstanz annimmt, dass der Widerruf der Niederlassungsbewilligung des Beschwerdeführers auch dem Gebot der Verhältnismässigkeit genügt. Dass eine mildere Massnahme untauglich ist, hat der Beschwerdeführer selbst unter Beweis gestellt, indem er sich von der fremdenpolizeilichen Verwarnung samt Androhung der Ausweisung unbeeindruckt zeigte, sein deliktisches Verhalten nicht änderte und auch weiterhin Schulden machte. Damit hat er die ihm eingeräumten Chancen vertan.
6. Auch soweit der Beschwerdeführer im Zusammenhang mit seinen Vorbringen das von Art. 8 Ziff. 1 EMRK gewährleistete Recht auf Achtung des Privat- und Familienlebens anruft, kann seiner Rüge nicht gefolgt werden:
Auf den Schutz seines Familienlebens kann sich der Beschwerdeführer nicht berufen, zumal es zur Ausübung seines Besuchsrechts und zur Wahrnehmung des persönlichen Kontaktes grundsätzlich nicht erforderlich ist, dass er dauernd im gleichen Land wie seine Kinder lebt und hier über einen Aufenthaltstitel verfügt. Unter dem Gesichtspunkt von Art. 8 Ziff. 1 EMRK (sowie von <ref-law>) ist es vielmehr ausreichend, wenn das Besuchsrecht im Rahmen von Kurzaufenthalten vom Ausland her ausgeübt werden kann, wobei allenfalls die Modalitäten des Besuchsrechts entsprechend auszugestalten sind. Ein weitergehender Anspruch setzt nebst einer in wirtschaftlicher und affektiver Hinsicht besonders engen Beziehung zum Kind stets voraus, dass das bisherige Verhalten des Ausländers in der Schweiz zu keinerlei Klagen Anlass gegeben hat (sog. tadelloses Verhalten; <ref-ruling> E. 3c S. 5). Aufgrund der zahlreichen strafrechtlichen Verurteilungen des Beschwerdeführers kann hier von einem tadellosen Verhalten jedoch keine Rede sein. Zudem liegt jedenfalls in wirtschaftlicher Hinsicht keine besonders enge Beziehung zwischen dem Beschwerdeführer und seinen Kindern vor, da die Unterhaltsbeiträge gemäss den vorinstanzlichen Feststellungen zumeist von der zuständigen Behörde bevorschusst werden mussten und sich so ein Ausstand des Beschwerdeführers in Höhe von Fr. 33'535.-- (Stand per 1. Dezember 2010) angehäuft hat. Auch in affektiver Hinsicht ist nichts ersichtlich und wird nichts vorgebracht, was auf eine besondere Beziehungsintensität hindeuten würde.
Aus dem Anspruch auf Schutz des Privatlebens ergibt sich ein Recht auf Verbleib im Land nur unter besonderen Umständen. Eine lange Anwesenheit und die damit verbundene normale Integration genügen hierzu nicht; erforderlich sind vielmehr besonders intensive Beziehungen beruflicher oder gesellschaftlicher Natur (<ref-ruling> E. 3.2.1 S. 286; <ref-ruling> E. 2c S. 384 ff.; <ref-ruling> E. 3b S. 22). Solche qualifizierten Bindungen des Beschwerdeführers zur Schweiz sind nicht ersichtlich.
Der Beschwerdeführer kann sich somit von vornherein nicht auf Art. 8 Ziff. 1 EMRK berufen. Im Übrigen gilt der in Art. 8 Ziff. 1 EMRK statuierte Anspruch aber ohnehin nicht absolut: Vielmehr darf nach Art. 8 Ziff. 2 EMRK in das durch Ziff. 1 geschützte Rechtsgut eingegriffen werden, soweit der Eingriff gesetzlich vorgesehen ist und eine Massnahme darstellt, die in einer demokratischen Gesellschaft u.a. für die öffentliche Ruhe und Ordnung, das wirtschaftliche Wohl des Landes und die Verhinderung von strafbaren Handlungen notwendig ist. Gleich wie die bundesgerichtliche Praxis zu Art. 63 AuG verlangt die Konvention in diesem Zusammenhang eine Abwägung der sich gegenüberstehenden privaten Interessen an der Aufrechterhaltung der Bewilligung und den öffentlichen Interessen an deren Widerruf, wobei die massgeblichen Kriterien nahezu identisch sind. Daraus folgt, dass eine Massnahme, die sich - wie im vorliegenden Fall - im Sinne der bundesgerichtlichen Praxis als verhältnismässig erweist, grundsätzlich auch vor Art. 8 EMRK standhält.
7. Nach dem Ausgeführten ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten unbegründet und daher abzuweisen. Dem Ausgang des Verfahrens folgend, sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen.
2. Die Gerichtskosten von Fr. 1'500.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Migrationsamt und dem Departement für Justiz und Sicherheit des Kantons Thurgau, dem Verwaltungsgericht des Kantons Thurgau sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 17. November 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Zähndler