Sachverhalt:
A. Der kosovarische Staatsangehörige X._ wurde 1986 in der Schweiz geboren und verfügt hier über die Niederlassungsbewilligung.
X._ wurde in der Schweiz massiv straffällig. Namentlich ergingen die folgenden Verurteilungen:
Strafverfügung der Jugendanwaltschaft Thurgau vom 21. November 2002: Bedingte Einschliessungsstrafe von drei Wochen und Schutzaufsicht wegen mehrfachen Diebstahls, mehrfacher geringfügiger Vermögensdelikte sowie Widerhandlungen gegen das Betäubungsmittelgesetz;
Bussenverfügung des Polizeirichteramts Winterthur vom 15. August 2005: Fr. 500.-- Busse wegen Tätlichkeit, grober Verletzung von Sitte und Anstand im Zustand der Betrunkenheit und Störung der öffentlichen Sicherheit und Ordnung durch Teilnahme an Raufereien;
Urteil des Obergerichts des Kantons Thurgau vom 18. Dezember 2007: Drei Jahre Freiheitsstrafe (wovon 18 Monate bedingt) und Fr. 2'000.-- Busse wegen schwerer Körperverletzung, mehrfacher Geldfälschung, Fahrens in angetrunkenem Zustand, versuchter Vereitelung der Blutprobe, Verletzung von Verkehrsregeln, pflichtwidrigen Verhaltens bei Unfall sowie mehrfacher Übertretung des Betäubungsmittelgesetzes; der Vollzug der Freiheitsstrafe wurde zu Gunsten einer Massnahme in einer Einrichtung für junge Erwachsene aufgeschoben;
Urteil des Bezirksgerichts Frauenfeld vom 24. September 2008: 15 Monate Freiheitsstrafe (als Zusatzstrafe zum Urteil des Obergerichts des Kantons Thurgau vom 18. Dezember 2007) und Fr. 1'500.-- Busse wegen Raubes und Tätlichkeiten;
Strafverfügung des Bezirksamts Steckborn vom 27. Oktober 2008: Busse von Fr. 100.-- wegen Widerhandlung gegen das Heilmittelgesetz;
Strafbefehl des Bezirksamts Kulm vom 6. Mai 2010: Geldstrafe von 30 Tagessätzen zu je Fr. 30.-- sowie Busse von Fr. 100.-- wegen einfacher Körperverletzung und geringfügiger Sachbeschädigung.
B. Am 6. August 2009 widerrief das Migrationsamt des Kantons Thurgau die Niederlassungsbewilligung von X._ und wies diesen an, die Schweiz innert 30 Tagen ab Entlassung aus dem Massnahmenvollzug zu verlassen. Die dagegen erhobenen Rechtsmittel wurden vom Departement für Justiz und Sicherheit des Kantons Thurgau (Entscheid vom 28. Juni 2010) und vom Verwaltungsgericht des Kantons Thurgau (Urteil vom 15. Dezember 2010) abgewiesen.
C. X._ erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht und beantragt im Wesentlichen, es sei vom Widerruf der Niederlassungsbewilligung abzusehen. Zudem beantragt er die Gewährung der unentgeltlichen Rechtspflege und Verbeiständung.
Das Departement für Justiz und Sicherheit sowie das Verwaltungsgericht des Kantons Thurgau beantragen die Abweisung der Beschwerde. Das Bundesamt für Migration hat sich innert der angesetzten Frist nicht geäussert.

Erwägungen:
1. 1.1 Nach <ref-law> ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten auf dem Gebiet des Ausländerrechts unzulässig gegen Entscheide betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt. Vorliegend geht es nicht um die erstmalige Erteilung oder die Verlängerung, sondern um den Widerruf einer bereits gewährten Bewilligung. Die Beschwerde bleibt in diesem Zusammenhang zulässig, soweit die Bewilligung - wäre sie nicht widerrufen worden - nach wie vor Rechtswirkungen entfalten würde. Dies ist bei der unbefristeten Niederlassungsbewilligung der Fall (vgl. <ref-ruling> E. 1.2.1 S. 4). Die Zulässigkeit des Rechtsmittels beruht auf dem schutzwürdigen Vertrauen, dass eine einmal erteilte Bewilligung für die Dauer ihrer Gültigkeit fortbesteht und grundsätzlich nicht in die entsprechende Rechtsposition eingegriffen wird (vgl. Urteile 2C_515/2009 vom 27. Januar 2010 E. 1.1; 2C_21/2007 vom 16. April 2007 E. 1.2). Als Adressat des angefochtenen, kantonal letztinstanzlichen Urteils (<ref-law>) ist der Beschwerdeführer ohne Weiteres zur Beschwerdeführung legitimiert (<ref-law>). Auf das im Übrigen form- und fristgerecht eingereichte Rechtsmittel (Art. 42 und Art. 100 Abs. 1 BGG) ist daher grundsätzlich einzutreten (unter Vorbehalt von E. 1.2 und E. 1.3 hiernach).
1.2 Das Bundesgericht legt seinem Urteil die Sachverhaltsfeststellungen der Vorinstanz zugrunde (<ref-law>). Mit einer Beschwerde in öffentlich-rechtlichen Angelegenheiten können diese nur dann gerügt werden, wenn sie offensichtlich unrichtig, d.h. willkürlich sind (<ref-ruling> E. 1.2.2 S. 252; <ref-ruling> E. 7.1 S. 398) oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen. Zudem ist vom Beschwerdeführer aufzuzeigen, dass die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>).
1.3 Die Beschwerdeschrift hat gemäss <ref-law> die Begehren und deren Begründung zu enthalten; im Rahmen der Begründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt (<ref-law>). Dies setzt voraus, dass sich der Beschwerdeführer wenigstens kurz mit den Erwägungen des angefochtenen Entscheides auseinandersetzt (<ref-ruling> E. 2.1 S. 245 f.). Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht. Das Bundesgericht prüft eine solche Rüge nur insoweit, als sie in der Beschwerde präzise vorgebracht und begründet worden ist (<ref-law>).
2. 2.1 Nach Art. 63 Abs. 1 lit. a (in Verbindung mit Art. 62 lit. b) und Art. 63 Abs. 2 AuG kann die Niederlassungsbewilligung auch nach einem - wie hier - länger als 15 Jahre dauernden ununterbrochenen und ordnungsgemässen Aufenthalt in der Schweiz widerrufen werden, wenn der Ausländer zu einer längerfristigen Freiheitsstrafe verurteilt wurde. Als längerfristig gilt eine Freiheitsstrafe von mehr als einem Jahr (<ref-ruling> E. 4.2 S. 379 ff.). Diese Voraussetzung ist vorliegend unbestrittenermassen erfüllt.
2.2 Wenn ein Ausländer durch sein Verhalten einen Widerrufsgrund gesetzt hat, bleibt zu prüfen, ob diese Massnahme auch als verhältnismässig erscheint. Dabei sind namentlich die Schwere des Verschuldens, der Grad der Integration bzw. die Dauer der bisherigen Anwesenheit sowie die dem Betroffenen drohenden Nachteile zu berücksichtigen (<ref-ruling> E. 4.3 ff. S. 381 ff.; vgl. auch Art. 96 Abs. 1 AuG).
2.3 Die Vorinstanz hat diesbezüglich was folgt festgestellt und erwogen: Der Verurteilung vom 18. Dezember 2007 liege u.a. zugrunde, dass der Beschwerdeführer zusammen mit anderen Kosovo-Albanern wahllos mit den Fäusten auf einen Invaliden eingeschlagen habe, bis dieser zu Boden gegangen sei. In der Folge habe er weiterhin mit den Füssen gegen den Kopf des Opfers eingetreten, bis dieses reglos am Boden liegen geblieben sei. Das Opfer habe während 19 Tagen hospitalisiert werden müssen, wovon 3 Tage auf der Intensivstation. Beim Beschwerdeführer habe sich eine Gefühlskälte, Asozialität, Brutalität und potenzielle Gefahr mit aller Deutlichkeit gezeigt. Der Verurteilung vom 24. September 2008 sei u.a. zugrunde gelegen, dass der Beschwerdeführer wiederum gemeinsam mit Landsleuten solange auf das zuvor ausgesuchte Opfer eingeschlagen habe, bis dieses blutüberströmt sein Portemonnaie ausgehändigte habe. Nebst diesen beiden Delikten zeigten - so die Vorinstanz weiter - auch andere Straftaten (mehrfacher Diebstahl, mehrfache geringe Vermögensdelikte, Widerhandlungen gegen das Betäubungsmittelgesetz, etc.), dass beim Beschwerdeführer eine überaus hohe kriminelle Energie vorhanden sei. Selbst wenige Tage nach der Hauptverhandlung vor dem Bezirksgericht Frauenfeld vom 11. Juni 2007 sei er erneut gewalttätig geworden und habe einen Raub begangen. Der letzten Verurteilung liege sodann zugrunde, dass der Beschwerdeführer während dem Massnahmenvollzug brutal auf einen Sicherheitsangestellten eingeschlagen und diesen nicht unerheblich verletzt habe. Der Beschwerdeführer habe mithin nie vor Gewalt zurückgeschreckt, sondern immer rücksichts- und grundlos zugeschlagen und trotz zahlreicher Verurteilungen seine kriminelle Energie ungebremst und mit steigender Intensität weiter verfolgt. Das Verschulden wiege überaus schwer und es bestehe eine erhebliche Gefahr, dass der Beschwerdeführer nach dem Vollzug der Massnahme wieder straffällig werde. Hinsichtlich der privaten Interessen des Beschwerdeführers würdigte die Vorinstanz, dass dieser hier geboren sei und sein ganzes bisheriges Leben hier verbracht habe, so dass ihn ein Bewilligungswiderruf hart treffe. Indes berücksichtigte das Verwaltungsgericht auch, dass der Beschwerdeführer über keine abgeschlossene Berufsausbildung verfüge und bisher nur zeitweise erwerbstätig gewesen und in der übrigen Zeit von seinen Eltern unterstützt worden sei. Von einer gelungenen beruflichen und gesellschaftlichen Integration könne daher keine Rede sein. Auch im Massnahmenvollzug sei er anfangs nur negativ aufgefallen. Sodann pflege er dort vornehmlich Kontakt zu Landsleuten. Er spreche seine Heimatsprache und sei mit den kulturellen Gepflogenheiten im Kosovo vertraut, habe er sich doch dort viele Male zu Ferienzwecken aufgehalten und sogar versucht, dort gefälschte Banknoten in Umlauf zu bringen. Es sei ihm somit ohne Weiteres zuzumuten, im Kosovo eine Existenz aufzubauen. Insgesamt überwiege das öffentliche Interesse an einer Entfernung des Beschwerdeführers aus der Schweiz dessen privates Interesse am Verbleiben im Land.
2.4 Soweit es sich bei diesen vorinstanzlichen Erwägungen um Sachverhaltsfeststellungen handelt, werden sie vom Beschwerdeführer nicht oder zumindest nicht hinreichend substantiiert bestritten. Dennoch erachtet der Beschwerdeführer die gegen ihn ausgesprochene Massnahme als unverhältnismässig. Er behauptet in diesem Zusammenhang, dass die von ihm begangenen Delikte zwar teilweise von schwerwiegender Natur seien, jedoch könne sein Verschulden aufgrund seines jungen Alters sowie einer massiven, durch familiäre Probleme bedingten Störung der Persönlichkeitsentwicklung nicht als so gravierend bezeichnet werden, wie dies die Vorinstanz getan habe. Eine Rückkehr in den Kosovo stelle für ihn zudem eine sehr einschneidende Massnahme dar, da er in der Schweiz geboren sei und nie in seinem Heimatland gelebt habe; die dortigen Lebensumstände seien nicht mit den hiesigen vergleichbar und es herrsche im Kosovo insbesondere eine hohe Arbeitslosigkeit. Auch die in der Schweiz lebenden Verwandten würde seine Rückkehr in die Heimat schwer treffen. Weiter bringt der Beschwerdeführer vor, dass der Bewilligungswiderruf verfrüht sei, da er sich zur Zeit im Massnahmenvollzug befinde, so dass eine abschliessende Beurteilung und eine endgültige Prognose über seine Bewährung nicht möglich seien. Zudem führe die angeordnete Ausreiseverpflichtung innert 30 Tagen ab Entlassung aus dem Massnahmenvollzug zu einem Konflikt mit der in <ref-law> vorgesehenen bedingten Entlassung, welche einen Bestandteil der Gesamtmassnahmen darstelle, um einen jungen Erwachsenen in ein deliktfreies Leben zu integrieren.
2.5 Die Einwendungen des Beschwerdeführers überzeugen nicht:
Die zahlreichen von ihm begangenen Straftaten lassen entgegen seiner Auffassung auf ein sehr schweres Verschulden schliessen. Insbesondere die aktenkundigen und von der Vorinstanz eindrücklich beschriebenen Gewaltdelikte lassen einen äusserst negativen Eindruck vom Beschwerdeführer entstehen: Er demonstrierte hierdurch eine ausgeprägte soziale Gefährlichkeit und eine inakzeptable Geringschätzung gegenüber der schweizerischen Rechtsordnung im Allgemeinen und der Gesundheit anderer Menschen im Besonderen. Daran ändert auch nichts, dass der Beschwerdeführer geltend macht, er sei bei diesen Straftaten jeweils alkoholisiert gewesen und in Handlungen hineingezogen worden, zu denen andere den Anstoss gegeben hätten: Einerseits war die Alkoholisierung gemäss Aktenlage nicht derart, dass dadurch die Schuldfähigkeit aufgehoben worden wäre und andererseits besteht ein erhebliches öffentliches Interesse gerade an der Entfernung von Personen, bei denen ein erhöhtes Risiko besteht, dass sie in alkoholisiertem Zustand Gewaltdelikte begehen (vgl. Urteil 2A.231/2004 vom 7. Mai 2004 E. 2.1).
Die übrigen von ihm begangenen Straftaten wiegen für sich allein zwar nicht allzu schwer, doch belegen sie in ihrer Gesamtheit die ganz erhebliche kriminelle Energie des Beschwerdeführers. Da sich der Beschwerdeführer weder von jugendstrafrechtlichen Sanktionen, Bussen und Geldstrafen noch von Verurteilungen zu bedingten oder unbedingten Freiheitsstrafen von weiterer erheblicher Delinquenz abhalten liess und sogar noch im Massnahmenvollzug weitere Straftaten verübte, entsteht von ihm das Bild eines uneinsichtigen, gewalttätigen Gewohnheitsverbrechers, der die ihm gewährten Chancen nicht zu nutzen vermochte und bei welchem die in einem Rechtsstaat zur Verfügung stehenden Sanktionen wirkungslos sind. Bei dieser Sachlage ist ein weiteres Verbleiben des Beschwerdeführers in der Schweiz grundsätzlich ausgeschlossen. In jedem Fall durften die Vorinstanzen aber von einem eminenten öffentlichen Interesse an der verfügten Massnahme ausgehen.
Spezifische persönliche Umstände, die einer Ausreise des Beschwerdeführers entgegenstehen würden, liegen nicht vor: Der Beschwerdeführer bestreitet nicht, seine Heimat von regelmässigen Ferienaufenthalten zu kennen und auch albanisch zu sprechen. Dass die Arbeitslosigkeit im Kosovo höher ist als in der Schweiz, betrifft alle dort lebenden Personen in gleicher Weise und ist kein spezifischer persönlicher Grund, der die Rückkehr als unzulässig erscheinen liesse; dies umso weniger, als der Beschwerdeführer auch in der Schweiz bisher nur unregelmässig gearbeitet hat. Auch das Verhältnis zu den in der Schweiz lebenden Eltern und Geschwistern fällt bei dem nunmehr rund 25-jährigen Beschwerdeführer nicht mehr massgebend ins Gewicht.
Unbehelflich ist schliesslich auch der Hinweis des Beschwerdeführers, dass er sich noch im Massnahmenvollzug befinde und dieser aus strafrechtlicher Perspektive selbst nach einer bedingten Entlassung noch nicht beendet sei. Letzteres mag zwar zutreffen, doch hat dies für die hier im Streit liegende Massnahme keine entscheidende Bedeutung: Der Beschwerdeführer übersieht diesbezüglich, dass Strafrecht und Ausländerrecht unterschiedliche Ziele verfolgen und unabhängig voneinander anzuwenden sind. Der Straf- und Massnahmenvollzug hat nebst der Sicherheitsfunktion eine resozialisierende bzw. therapeutische Zielsetzung; für die Fremdenpolizeibehörden steht demgegenüber das Interesse der öffentliche Ordnung und Sicherheit im Vordergrund, woraus sich ein im Vergleich mit den Straf- und Strafvollzugsbehörden strengerer Beurteilungsmassstab ergibt (<ref-ruling> E. 5b S. 132; Urteil 2A.103/2005 vom 4. August 2005 E. 4.2.2). Dies bedeutet namentlich, dass eine aus der Sicht des Massnahmenvollzugs positive Entwicklung im Strafvollzug nicht ausschliesst, dass eine Rückfallgefahr vorliegt und deshalb eine fremdenpolizeiliche Massnahme angeordnet werden kann (<ref-ruling> E. 4a/bb S. 528; Urteil 2A.688/2005 vom 4. April 2006 E. 3.1.3). Solche Massnahmen können bereits während der Dauer einer bedingten Entlassung aus dem Straf- oder Massnahmenvollzug angeordnet werden (<ref-ruling> E. 4.3.3 S. 187 ff.; <ref-ruling> E. 2b S. 435 f.; Urteile 2C_425/2008 vom 27. Januar 2009 E. 3.2; 2C_488/2007 vom 6. Februar 2008 E. 3.1; 2A.448/2002 vom 6. Februar 2003 E. 2.1; 2A.355/2002 vom 29. Oktober 2002 E. 3.2).
3. Nach dem Ausgeführten erweist sich die Beschwerde als unbegründet und ist abzuweisen. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung ist wegen Aussichtslosigkeit der Beschwerde ebenfalls abzuweisen (<ref-law> e contrario). Der Beschwerdeführer trägt daher die Gerichtskosten (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird dem Beschwerdeführer, dem Migrationsamt und dem Departement für Justiz und Sicherheit des Kantons Thurgau, dem Verwaltungsgericht des Kantons Thurgau sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 16. Juni 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Zähndler