Sachverhalt: A. Der 1984 geborene kosovarische Staatsangehörige X._ reiste 1990 im Rahmen des Familiennachzuges in die Schweiz ein, wo er zuerst eine Aufenthaltsbewilligung und am 15. Dezember 1994 die Niederlassungsbewilligung erhielt. X._ wurde in der Schweiz mehrfach straffällig: Das Untersuchungsamt Altstätten verurteilte ihn am 3. April 2003 u.a. wegen Entwendung eines Motorfahrzeugs zum Gebrauch und Verletzung der Verkehrsregeln zu einer bedingt vollziehbaren Gefängnisstrafe von einer Woche sowie zu einer Busse von Fr. 900.--; Am 14. Oktober 2005 wurde er vom Kreisgericht Rheintal wegen mehrfachem Raub, Diebstahl, geringfügigem Diebstahl, mehrfacher Entwendung eines Motorfahrzeugs zum Gebrauch und weiterer Delikte gegen das Strassenverkehrsgesetz sowie wegen Widerhandlung gegen das damalige Bundesgesetz über Aufenthalt und Niederlassung der Ausländer zu einer bedingt vollziehbaren Gefängnisstrafe von zehn Monaten und zu einer Busse von Fr. 500.-- verurteilt. Zusätzlich wurde der mit Urteil vom 3. April 2003 gewährte bedingte Strafvollzug widerrufen und die damals ausgesprochene Gefängnisstrafe von einer Woche für vollziehbar erklärt; Wegen Verstosses gegen das Transportgesetz sprach das Untersuchungsamt Gossau am 17. Mai 2006 eine Busse von Fr. 90.-- gegen X._ aus; Am 4. Oktober 2006 wurde er vom Untersuchungsamt Altstätten der einfachen Verletzung von Verkehrsregeln und des mehrfachen Lenkens eines Kleinmotorrades ohne Führerausweis schuldig gesprochen und zu einer Busse von Fr. 400.-- verurteilt; Am 23. April 2007 sprach das Bussenzentrum St. Gallen wegen Widerhandlung gegen das Transportgesetz eine Busse von Fr. 60.-- aus; Am 11. Februar 2008 sprach das Bussenzentrum St. Gallen wegen Widerhandlung gegen das Transportgesetz eine Busse von Fr. 60.-- aus; Mit Urteil des Kreisgerichts Rheintal vom 11. April 2008 wurde X._ wegen banden- und gewerbsmässigem Diebstahl, einfachem Diebstahl, mehrfacher Sachbeschädigung, mehrfachem Hausfriedensbruch, mehrfacher Entwendung eines Motorfahrzeugs zum Gebrauch, mehrfachem Fahren trotz Entzugs des Lernfahrausweises sowie wegen eines geringfügigen Vermögensdeliktes (betrügischer Missbrauch einer Datenverarbeitungsanlage) zu einer Freiheitsstrafe von 21 Monaten und zu einer Busse von Fr. 300.-- verurteilt. Das Kreisgericht widerrief den mit Urteil vom 14. Oktober 2005 gewährten bedingten Strafvollzug und erklärte die damals ausgesprochene Gefängnisstrafe von zehn Monaten für vollziehbar. Ebenso ordnete es eine stationäre Massnahme für junge Erwachsene an und X._ wurde in der Folge ins Massnahmenzentrum Kalchrain eingewiesen. B. Da die am 8. Februar 2006 erfolgte Verwarnung samt Androhung der Ausweisung X._ nicht von der Begehung weiterer Straftaten abzuhalten vermocht hatte, verfügte das Ausländeramt des Kantons St. Gallen am 28. November 2008 den Widerruf seiner Niederlassungsbewilligung. Hiergegen rekurrierte X._ ohne Erfolg beim kantonalen Sicherheits- und Justizdepartement. Eine danach beim Verwaltungsgericht des Kantons St. Gallen erhobene Beschwerde wurde mit Urteil vom 10. November 2009 abgewiesen. C. Mit Eingabe vom 16. Dezember 2009 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er beantragt die Aufhebung des vorinstanzlichen Urteils und den Verzicht auf den Widerruf seiner Niederlassungsbewilligung. Das Sicherheits- und Justizdepartement des Kantons St. Gallen, das Verwaltungsgericht des Kantons St. Gallen sowie das Bundesamt für Migration schliessen auf Abweisung der Beschwerde.