Sachverhalt:
A. Der 1984 geborene kosovarische Staatsangehörige X._ reiste 1990 im Rahmen des Familiennachzuges in die Schweiz ein, wo er zuerst eine Aufenthaltsbewilligung und am 15. Dezember 1994 die Niederlassungsbewilligung erhielt. X._ wurde in der Schweiz mehrfach straffällig:
Das Untersuchungsamt Altstätten verurteilte ihn am 3. April 2003 u.a. wegen Entwendung eines Motorfahrzeugs zum Gebrauch und Verletzung der Verkehrsregeln zu einer bedingt vollziehbaren Gefängnisstrafe von einer Woche sowie zu einer Busse von Fr. 900.--;
Am 14. Oktober 2005 wurde er vom Kreisgericht Rheintal wegen mehrfachem Raub, Diebstahl, geringfügigem Diebstahl, mehrfacher Entwendung eines Motorfahrzeugs zum Gebrauch und weiterer Delikte gegen das Strassenverkehrsgesetz sowie wegen Widerhandlung gegen das damalige Bundesgesetz über Aufenthalt und Niederlassung der Ausländer zu einer bedingt vollziehbaren Gefängnisstrafe von zehn Monaten und zu einer Busse von Fr. 500.-- verurteilt. Zusätzlich wurde der mit Urteil vom 3. April 2003 gewährte bedingte Strafvollzug widerrufen und die damals ausgesprochene Gefängnisstrafe von einer Woche für vollziehbar erklärt;
Wegen Verstosses gegen das Transportgesetz sprach das Untersuchungsamt Gossau am 17. Mai 2006 eine Busse von Fr. 90.-- gegen X._ aus;
Am 4. Oktober 2006 wurde er vom Untersuchungsamt Altstätten der einfachen Verletzung von Verkehrsregeln und des mehrfachen Lenkens eines Kleinmotorrades ohne Führerausweis schuldig gesprochen und zu einer Busse von Fr. 400.-- verurteilt;
Am 23. April 2007 sprach das Bussenzentrum St. Gallen wegen Widerhandlung gegen das Transportgesetz eine Busse von Fr. 60.-- aus;
Am 11. Februar 2008 sprach das Bussenzentrum St. Gallen wegen Widerhandlung gegen das Transportgesetz eine Busse von Fr. 60.-- aus;
Mit Urteil des Kreisgerichts Rheintal vom 11. April 2008 wurde X._ wegen banden- und gewerbsmässigem Diebstahl, einfachem Diebstahl, mehrfacher Sachbeschädigung, mehrfachem Hausfriedensbruch, mehrfacher Entwendung eines Motorfahrzeugs zum Gebrauch, mehrfachem Fahren trotz Entzugs des Lernfahrausweises sowie wegen eines geringfügigen Vermögensdeliktes (betrügischer Missbrauch einer Datenverarbeitungsanlage) zu einer Freiheitsstrafe von 21 Monaten und zu einer Busse von Fr. 300.-- verurteilt. Das Kreisgericht widerrief den mit Urteil vom 14. Oktober 2005 gewährten bedingten Strafvollzug und erklärte die damals ausgesprochene Gefängnisstrafe von zehn Monaten für vollziehbar. Ebenso ordnete es eine stationäre Massnahme für junge Erwachsene an und X._ wurde in der Folge ins Massnahmenzentrum Kalchrain eingewiesen.
B. Da die am 8. Februar 2006 erfolgte Verwarnung samt Androhung der Ausweisung X._ nicht von der Begehung weiterer Straftaten abzuhalten vermocht hatte, verfügte das Ausländeramt des Kantons St. Gallen am 28. November 2008 den Widerruf seiner Niederlassungsbewilligung. Hiergegen rekurrierte X._ ohne Erfolg beim kantonalen Sicherheits- und Justizdepartement. Eine danach beim Verwaltungsgericht des Kantons St. Gallen erhobene Beschwerde wurde mit Urteil vom 10. November 2009 abgewiesen.
C. Mit Eingabe vom 16. Dezember 2009 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er beantragt die Aufhebung des vorinstanzlichen Urteils und den Verzicht auf den Widerruf seiner Niederlassungsbewilligung.
Das Sicherheits- und Justizdepartement des Kantons St. Gallen, das Verwaltungsgericht des Kantons St. Gallen sowie das Bundesamt für Migration schliessen auf Abweisung der Beschwerde.

Erwägungen:
1. Nach Art. 83 lit. c Ziff. 2 BGG ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten auf dem Gebiet des Ausländerrechts unzulässig gegen Entscheide betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt. Vorliegend geht es nicht um die erstmalige Erteilung oder die Verlängerung, sondern um den Widerruf einer bereits gewährten Bewilligung. Die Beschwerde bleibt in diesem Zusammenhang zulässig, soweit die Bewilligung - wäre sie nicht widerrufen worden - nach wie vor Rechtswirkungen entfalten würde. Dies ist bei der unbefristeten Niederlassungsbewilligung der Fall (vgl. <ref-ruling> E. 1.2.1 S. 4). Die Zulässigkeit des Rechtsmittels beruht auf dem schutzwürdigen Vertrauen, dass eine einmal erteilte Bewilligung für die Dauer ihrer Gültigkeit fortbesteht und grundsätzlich nicht in die entsprechende Rechtsposition eingegriffen wird (vgl. Urteile 2C_515/2009 vom 27. Januar 2010 E. 1.1; 2C_21/2007 vom 16. April 2007 E. 1.2). Als Adressat des angefochtenen, kantonal letztinstanzlichen Urteils (Art. 86 Abs. 1 lit. d BGG) ist der Beschwerdeführer ohne weiteres gemäss Art. 89 Abs. 1 BGG legitimiert. Auf die im Übrigen form- und fristgerecht eingereichte Beschwerde (Art. 42 und Art. 100 Abs. 1 BGG) ist daher einzutreten.
2. Das streitige Widerrufsverfahren wurde am 22. August 2008, d.h. nach Inkrafttreten des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20) per 1. Januar 2008 eröffnet, womit der vorliegende Fall nach Massgabe der Bestimmungen dieses Gesetzes zu beurteilen ist (Art. 126 Abs. 1 AuG e contrario; vgl. Urteil 2C_745/2008 vom 24. Februar 2009 E. 1.2.3).
3. Gemäss Art. 63 Abs. 1 lit. a AuG in Verbindung mit Art. 62 lit. b AuG kann die Niederlassungsbewilligung widerrufen werden, wenn ein Ausländer zu einer längerfristigen Freiheitsstrafe verurteilt wurde. Als "längerfristig" gilt eine Freiheitsstrafe, wenn ihre Dauer ein Jahr überschreitet (<ref-ruling> E. 4.2 und E. 4.5 S. 379 ff.). Ein auf die genannten Bestimmungen gestützter Widerruf der Niederlassungsbewilligung kann auch dann erfolgen, wenn sich ein Ausländer - wie vorliegend der Beschwerdeführer - seit mehr als 15 Jahren ununterbrochen und ordnungsgemäss in der Schweiz aufgehalten hat (Art. 63 Abs. 2 AuG). Der Beschwerdeführer wurde u.a. zu einer Freiheitsstrafe von 21 Monaten verurteilt und hat somit einen Widerrufsgrund gesetzt, was er zu Recht nicht bestreitet.
4. 4.1 Ein Widerruf der Niederlassungsbewilligung setzt voraus, dass die vorzunehmende Interessenabwägung diese Massnahme auch als verhältnismässig erscheinen lässt. Dabei sind namentlich die Schwere des Verschuldens, der Grad der Integration bzw. die Dauer der bisherigen Anwesenheit sowie die dem Betroffenen und seiner Familie drohenden Nachteile zu berücksichtigen (vgl. Art. 96 Abs. 1 AuG sowie für das alte Recht Art. 11 Abs. 3 des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer [ANAG; in Kraft gewesen bis zum 31. Dezember 2007] und Art. 16 Abs. 3 der Vollziehungsverordnung vom 1. März 1949 zum Bundesgesetz über Aufenthalt und Niederlassung der Ausländer [ANAV; in Kraft gewesen bis zum 31. Dezember 2007]; Urteil 2A.451/2002 vom 28. März 2003 E. 2, nicht publ. in: <ref-ruling>).
4.2 Der Beschwerdeführer erachtet den Widerruf als unverhältnismässig:
Er sei bereits als Sechsjähriger in die Schweiz gekommen und habe hier seine gesamte Kinder- und Jugendzeit sowie sein ganzes seitheriges Leben verbracht; ein Widerruf der Niederlassungsbewilligung falle daher nur in Betracht, wenn besonders schwere Gewalt-, Sexual- oder Betäubungsmitteldelikte vorlägen. Die gegen ihn ergangenen strafrechtlichen Verurteilungen könnten zwar nicht verharmlost werden, doch seien sie auch nicht von einer derartigen Schwere, dass sie gewissermassen automatisch den Widerruf der Niederlassungsbewilligung rechtfertigen würden. Vielmehr komme es im Rahmen der Verhältnismässigkeitsprüfung entscheidend auf die weiteren Umstände an.
In diesem Zusammenhang sei vor allem von Bedeutung, dass mit Urteil des Kreisgerichts Rheintal vom 11. April 2008 eine resozialisierende Massnahme für junge Erwachsene gemäss Art. 61 StGB angeordnet wurde, was ausdrücklich eine positive Prognose voraussetze. Im Massnahmevollzug sei es zwar zu einigen Schwierigkeiten, insbesondere zu verschiedenen Entweichungen gekommen, doch werde der Massnahmeverlauf von den zuständigen Mitarbeitern des Massnahmenzentrums Kalchrain insgesamt als positiv beurteilt. Hervorzuheben sei, dass er, der Beschwerdeführer, durch den Massnahmevollzug zum ersten Mal in seinem Leben die Möglichkeit erhalten habe, eine Ausbildung zu absolvieren. Hierdurch hätten sich seine Perspektiven auch aus ausländerrechtlichem Blickwinkel entscheidend verbessert. Es sei daher unverständlich, wenn bezüglich seines Aufenthaltsrechts in der Schweiz nicht auf den (weiteren) Verlauf der Massnahme Rücksicht genommen werde.
4.3 Die Einwendungen des Beschwerdeführers vermögen nicht zu überzeugen:
Es trifft an sich zu, dass der Widerruf der Niederlassungsbewilligung eines Ausländers, welcher sich schon seit langer Zeit hier aufhält, nur mit Zurückhaltung angeordnet werden soll. Bei wiederholter bzw. schwerer Straffälligkeit ist diese Massnahme jedoch selbst dann nicht ausgeschlossen, wenn ein Ausländer hier geboren ist und sein ganzes bisheriges Leben in der Schweiz verbracht hat (vgl. die bundesgerichtliche Praxis zur altrechtlichen Ausweisung; <ref-ruling> E. 4.4.2 S. 190; <ref-ruling> E. 2b S. 523 f.; <ref-ruling> E. 2 f. S. 435 ff.). Die zahlreichen vom Beschwerdeführer begangenen Straftaten und seine Verurteilungen zu Freiheitsstrafen von gesamthaft über zweieinhalb Jahren lassen auf ein schweres Verschulden und auf eine erhebliche kriminelle Energie schliessen. Durch seine Delinquenz demonstrierte er eine ausgeprägte Geringschätzung der Rechtsordnung, was ein Verbleiben in der Schweiz grundsätzlich ausschliesst. In jedem Fall durften die Vorinstanzen aber von einem gewichtigen öffentlichen Interesse am Widerruf seiner Niederlassungsbewilligung ausgehen.
Der Hinweis des Beschwerdeführers auf die von ihm behauptete günstige Rückfallprognose geht fehl: Wie das Verwaltungsgericht zutreffend ausgeführt hat, stellte er durch sein Verhalten in der Vergangenheit vielmehr unter Beweis, dass er sich von Strafuntersuchungen, Verurteilungen und gegen ihn verhängten Sanktionen nicht beeindrucken lässt. So wurde er mehrmals zu Strafen von warnendem Charakter (bedingt vollziehbare Freiheitsstrafen und zahlreiche Geldbussen) verurteilt, ohne dass ihn dies von der Begehung neuer Straftaten abgehalten hätte. Vielmehr delinquierte er teilweise noch innerhalb der ihm angesetzten Probezeit weiter. Auch eine fremdenpolizeiliche Verwarnung samt Androhung der Ausweisung blieb erfolglos. Bei dieser Sachlage entsteht vom Beschwerdeführer das Bild eines uneinsichtigen Gewohnheitsdelinquenten, der keine der zahlreichen ihm gewährten Chancen zu nutzen vermochte. Wie die Vorinstanz zu Recht erkannt hat, ändert sich dieser Eindruck auch nicht durch den bisherigen Verlauf des gegenwärtigen Massnahmevollzugs: Zwar wird in den Zwischenberichten des Massnahmenzentrums darauf hingewiesen, dass aus sozialpädagogischer Sicht verschiedene Verbesserungen und positive Entwicklungen erkennbar seien (Verzicht auf Drogenkonsum, Beginn einer Anlehre in der Schlosserei der Anstalt). Indessen muss diesen Berichten ebenfalls entnommen werden, dass der Beschwerdeführer mehrfach aus dem Massnahmevollzug entwichen ist, wobei ihn jeweils auch der Hinweis auf die Gewährung einer letzten Chance nicht an einer erneuten Flucht gehindert hat. Bei dieser Sachlage kann nicht auf eine echte Einsicht und auf eine nachhaltige Verhaltensveränderung des Beschwerdeführers geschlossen werden, welche ihm eine Abkehr von seiner bisherigen, schweren Delinquenz ermöglichen würde.
Bei einer Gesamtbetrachtung der genannten Umstände muss davon ausgegangen werden, dass die weitere Anwesenheit des Beschwerdeführers in der Schweiz nach wie vor eine unzumutbare Beeinträchtigung der öffentlichen Sicherheit und Ordnung darstellen würde. Es verstösst daher nicht gegen Bundesrecht, wenn das Verwaltungsgericht die Verhältnismässigkeit des Widerrufs der Niederlassungsbewilligung bejaht hat.
5. Soweit der Beschwerdeführer im Weiteren betont, dass seine ganze Familie (Vater, Stiefmutter, hier verheiratete Schwester und zwei Stiefbrüder) in der Schweiz lebte, und er sich in diesem Zusammenhang auf Art. 8 Ziff. 1 EMRK beruft, kann seiner Rüge ebenfalls nicht gefolgt werden:
Aus dem von dieser Bestimmung u.a. gewährleisteten Anspruch auf Schutz des Privatlebens ergibt sich ein Recht auf Verbleib im Land nur unter besonderen Umständen. Eine lange Anwesenheit und die damit verbundene normale Integration genügen hierzu nicht; erforderlich sind besonders intensive Beziehungen beruflicher oder gesellschaftlicher Natur (<ref-ruling> E. 3.2.1 S. 286; <ref-ruling> E. 2c S. 384 ff.; <ref-ruling> E. 3b S. 22). Solche qualifizierten Bindungen des Beschwerdeführers zur Schweiz sind nicht zu erkennen und werden von ihm auch nicht dargelegt.
Das in Art. 8 Ziff. 1 EMRK ebenfalls verankerte Recht auf Achtung des Familienlebens beschränkt sich grundsätzlich auf die Kernfamilie, d.h. die Gemeinschaft der Ehegatten mit ihren minderjährigen Kindern (vgl. <ref-ruling> E. 2 S. 14). Zwar hat der Europäische Gerichtshof für Menschenrechte (EGMR) in verschiedenen Entscheiden festgehalten, dass unter bestimmten Voraussetzungen auch die Beziehung von jungen Erwachsenen zu ihren Eltern vom Begriff des Familienlebens im Sinne der Konvention erfasst sein kann (vgl. Urteil des EGMR in Sachen Maslov gegen Österreich vom 23. Juni 2008 Rz. 62, mit Hinweisen). Dennoch ist zumindest fraglich, ob sich der volljährige Beschwerdeführer aufgrund der Beziehung zu seinem Vater und seiner Stiefmutter auf den Schutzbereich von Art. 8 Ziff. 1 EMRK berufen kann. Die Frage kann jedoch offen bleiben, zumal der betreffende Anspruch jedenfalls nicht absolut gilt. Vielmehr darf nach Art. 8 Ziff. 2 EMRK in das durch Ziff. 1 geschützte Rechtsgut eingegriffen werden, soweit der Eingriff gesetzlich vorgesehen ist und eine Massnahme darstellt, die in einer demokratischen Gesellschaft für die nationale Sicherheit, die öffentliche Ruhe und Ordnung, das wirtschaftliche Wohl des Landes, die Verteidigung der Ordnung und zur Verhinderung von strafbaren Handlungen, zum Schutz der Gesellschaft und Moral sowie der Rechte und Freiheiten anderer notwendig ist. Gleich wie Art. 96 Abs. 1 AuG verlangt die Konvention in diesem Zusammenhang eine Abwägung der sich gegenüberstehenden privaten Interessen an der Aufrechterhaltung der Bewilligung und den öffentlichen Interessen an deren Widerruf, wobei insbesondere die Schwere der begangenen Delikte, der seit der Tat vergangene Zeitraum, das Verhalten des Ausländers während dieser Periode, die Auswirkungen auf die betroffene Person sowie deren familiäre Situation zu berücksichtigen sind. Da die Entscheidungskriterien somit nahezu identisch sind, hält eine Ausweisung, die sich - wie im vorliegenden Fall - im Sinne von Art. 96 Abs. 1 AuG als verhältnismässig erweist, grundsätzlich auch vor Art. 8 EMRK stand.
Nichts anderes ergibt sich aus dem vom Beschwerdeführer angerufenen Urteil des EGMR vom 22. Mai 2008 in Sachen Emre gegen die Schweiz, welches die Verhältnismässigkeit einer Ausweisung (Art. 10 Abs. 1 lit. a ANAG) zum Gegenstand hatte und eine Verletzung von Art. 8 Ziff. 1 EMRK feststellte: Einerseits lag der gegen Emre verfügten Massnahme eine wesentlich geringfügigere Delinquenz als jene des Beschwerdeführers zu Grunde: Emre wurde insgesamt zu Freiheitsstrafen von 18 1⁄2 Monaten verurteilt, während gegen den Beschwerdeführer Straferkenntnisse von über zweieinhalb Jahren ergingen. Andererseits ist dem genannten Urteil des EGMR zu entnehmen, dass es der Gerichtshof in erster Linie als problematisch erachtete, dass es Emre durch die Ausweisung auf unbefristete Dauer verboten wurde, schweizerisches Gebiet zu betreten, und zum Zeitpunkt des Entscheides keine konkrete Möglichkeit einer vorübergehenden oder dauerhaften Aufhebung jener Massnahme ersichtlich war (Rz. 84 f. des erwähnten Entscheids; Urteil 2F_11/2008 vom 6. Juli 2009 E. 4.2). In der Zwischenzeit, mit Inkrafttreten des neuen Ausländergesetzes per 1. Januar 2008, wurde das Instrument der Ausweisung indes abgeschafft (mit Ausnahme der "politischen Ausweisung" gem. Art. 68 AuG) und durch die Erweiterung der bisherigen Gründe für einen Bewilligungswiderruf ersetzt (vgl. ZÜND / ARQUINT, Beendigung der Anwesenheit, Entfernung und Fernhaltung, in: Uebersax und andere [Hrsg.], Ausländerrecht, 2. Aufl. 2009, Rz. 8.2). Anders als die altrechtliche Ausweisung stellt ein Bewilligungswiderruf keine Fernhaltemassnahme dar: Während Art. 11 Abs. 4 ANAG das Betreten der Schweiz während der Dauer der Ausweisung grundsätzlich untersagte, ist mit dem blossen Widerruf einer Aufenthalts- oder Niederlassungsbewilligung kein solches Verbot verbunden. Dies bedeutet, dass Reisen in die Schweiz (etwa zu Besuchszwecken) bei Erfüllung der gesetzlichen Einreisevoraussetzungen durch die hier streitige Massnahme nicht verunmöglicht werden.
6. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten erweist sich nach dem Ausgeführten als unbegründet und ist abzuweisen.
Entsprechend diesem Verfahrensausgang wären die Kosten des bundesgerichtlichen Verfahrens an sich dem Beschwerdeführer aufzuerlegen (Art. 65 f. BGG). Jedoch kann dem Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege im bundesgerichtlichen Verfahren entsprochen werden, da seine Bedürftigkeit als erstellt gelten kann und die Beschwerde nicht gerade als von vornherein aussichtslos zu bezeichnen ist (Art. 64 BGG; vgl. das in der vorliegenden Angelegenheit ergangene Urteil 2C_230/2009 vom 2. Juli 2009 betreffend die unentgeltliche Rechtspflege und Verbeiständung im vorinstanzlichen Verfahren).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen.
2. Dem Beschwerdeführer wird für das Verfahren vor Bundesgericht die unentgeltliche Rechtspflege gewährt.
a) Es werden keine Gerichtskosten erhoben.
b) Rechtsanwalt Paul Rechsteiner, St. Gallen, wird zum unentgeltlichen Rechtsbeistand bestellt und aus der Bundesgerichtskasse mit Fr. 2'000.-- entschädigt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Ausländeramt und dem Sicherheits- und Justizdepartement des Kantons St. Gallen, dem Verwaltungsgericht des Kantons St. Gallen sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 29. Juni 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Zähndler