Sachverhalt:
A. Der 1982 in Arbon geborene serbische Staatsangehörige X._ verbrachte seine ersten Lebensjahre bei seinen Grosseltern in Serbien und reiste am 31. Januar 1987 im Rahmen des Familiennachzuges zu seiner Mutter in die Schweiz ein, wo er die Niederlassungsbewilligung erhielt. Weil seine alleinerziehende Mutter keine Zeit für ihn hatte, lebte er bei verschiedenen Pflegefamilien.
X._ wurde in der Schweiz wiederholt straffällig:
Das Bezirksgericht Rorschach verurteilte ihn am 24. September 1998 wegen mehrfachen Diebstahls, Hehlerei, mehrfacher Sachbeschädigung, mehrfachen Hausfriedensbruchs, Sachentziehung, mehrfacher Motorfahrzeugentwendung, mehrfachen Führens eines ungelösten und nicht versicherten Motorfahrzeuges, mehrfachen Schildermissbrauchs und mehrfachen Führens eines Motorfahrzeugs ohne den erforderlichen Führerausweis und wies ihn deswegen in ein Erziehungsheim ein. Die Aufenthalte in zwei Heimen mussten in der Folge wegen unkooperativen Verhaltens von X._ vorzeitig abgebrochen werden. Im Juli 1999 wurde er von der angeordneten Massnahme beurlaubt und lebte in der Folge bei seiner Mutter.
Am 10. Januar 2000 wurde er wegen erneuter Delikte in ein Massnahmenzentrum für junge Erwachsene eingewiesen, wo er nach zwei Jahren nicht mehr tragbar war und - nachdem er schon vorzeitig aus der Volksschule ausgetreten war und auch die angefangene Lehre als Automonteur abbrechen musste - bedingt aus der Massnahme entlassen werden musste.
Am 3. September 2007 verurteilte ihn das Kantonsgericht St. Gallen in zweiter Instanz wegen schwerer Körperverletzung, fahrlässiger Tötung, Hinderung einer Amtshandlung, mehrfacher Sachbeschädigung, mehrfachen Hausfriedensbruchs, mehrfacher einfacher Körperverletzung, mehrfachen betrügerischen Missbrauchs einer Datenverarbeitungsanlage, mehrfachen Diebstahls und mehrfacher Widerhandlung gegen das Strassenverkehrsgesetz zu einer Freiheitsstrafe von fünfeinhalb Jahren und einer Busse. Zusätzlich ordnete das Kantonsgericht eine stationäre therapeutische Massnahme an.
Grund für die Verurteilung war u.a., dass X._ am 12. Dezember 1999 mit Skistöcken bewaffnet auf einen Erwachsenen losgegangen war und diesen mit kräftigen Schlägen oberhalb beider Kniescheiben und am rechten Oberschenkel mit Blutergüssen, und Rötungen, Schwellungen im Bereich beider Ohren, einer darauf begründeten leichten Gehörverminderung rechts sowie einer Rissquetschwunde hinter dem linken Ohr verletzt hatte. Am 17. Februar 2003 hatte er beim Streit um ein Mobiltelefon seinem Kontrahenten unter anderem Haarbüschel ausgerissen. Am 15. Juni 2003 hatte er einem knapp vierzehnjährigen mehrmals mit der Faust ins Gesicht und gegen den Hinterkopf geschlagen, so dass dieser unter anderem Blutergüsse im Gesicht erlitten hatte. Am 15. Dezember 2004 war er mit einem Bekannten wegen Fr. 50.-- zuerst verbal und dann handgreiflich in Streit geraten. Dabei hatte er ein Klappmesser gezogen und die rund 10 cm lange Klinge in die Brust bzw. ins Herz seines Gegners gestossen. Nach der Tat war er geflüchtet und hatte es Passanten überlassen, sich um den Sterbenden zu kümmern. Das Kantonsgericht führte zu dieser Straftat aus, dass zwar starke Indizien für eine (eventual)vorsätzliche Tötung vorlägen, aber dass letzte Zweifel darüber, ob X._ den Tod seines Opfers wirklich gewollt bzw. in Kauf genommen habe, nach dem Grundsatz in dubio pro reo zu Gunsten des Angeklagten beurteilt werden müssten. Am 17. Mai 2005 schlug X._ einem weiteren Opfer eine gläserne Bierflasche über den Kopf, wobei das Opfer eine offene Kopfverletzung und eine Hirnerschütterung erlitt. Drei Tage später wurde X._ wegen der Gefahr der Fortsetzung von weiteren Straftaten festgenommen und in den vorzeitigen Strafvollzug gebracht.
B. Das Ausländeramt des Kantons St. Gallen stellte am 12. November 2008 den Widerruf der Niederlassungsbewilligung in Aussicht.
Mit Verfügung vom 23. März 2009 wies das Sicherheits- und Justizdepartement des Kantons St. Gallen, Amt für Justizvollzug, das Gesuch um bedingte Entlassung aus der stationären therapeutischen Massnahme ab und entschied, dass X._ weiterhin in der Strafanstalt Pöschwies bleiben müsse. Ein Übertritt in eine offene Vollzugseinrichtung sei derzeit nicht verantwortbar. Eine Beschwerde gegen diese Verfügung wurde vom Verwaltungsgericht des Kantons St. Gallen am 22. September 2009 abgewiesen.
Am 18. Juni 2009 widerrief das Ausländeramt des Kantons St. Gallen die Niederlassungsbewilligung und ordnete an, dass X._ die Schweiz nach seiner Entlassung aus dem Massnahmevollzug zu verlassen habe. Dagegen rekurrierte X._ ohne Erfolg beim kantonalen Sicherheits- und Justizdepartement. Eine danach beim Verwaltungsgericht des Kantons St. Gallen erhobene Beschwerde wurde mit Urteil vom 8. Juni 2010 abgewiesen.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 18. August 2010 beantragt X._, das vorinstanzliche Urteil sowie die Verfügung des Ausländeramtes aufzuheben und vom Widerruf seiner Niederlassungsbewilligung abzusehen. Ferner ersucht er um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung.
Das Sicherheits- und Justizdepartement des Kantons St. Gallen, das Verwaltungsgericht des Kantons St. Gallen sowie das Bundesamt für Migration schliessen auf Abweisung der Beschwerde.
D. Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts hat der Beschwerde mit Verfügung vom 24. August 2010 antragsgemäss die aufschiebende Wirkung zuerkannt.
Erwägungen:
1. 1.1 Am 1. Januar 2008 hat das Bundesgesetz vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20) das Bundesgesetz vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; BS 1 121) abgelöst. Für den vorliegenden Widerruf der Niederlassungsbewilligung gilt demnach das neue Ausländerrecht, da dieses vor Eröffnung des Widerrufsverfahrens in Kraft getreten ist.
1.2 Gegen Entscheide über den Widerruf der gemäss Art. 34 Abs. 1 AuG unbefristeten Niederlassungsbewilligung ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig, weil grundsätzlich ein Anspruch auf das Fortbestehen dieser Bewilligung gegeben ist (BGE 135 II 1 E. 1.2.1 S. 4). Anfechtungsobjekt ist jedoch ausschliesslich das Urteil des Verwaltungsgerichts. Soweit mit dem Rechtsmittel die Verfügung des Ausländeramtes beanstandet wird, kann darauf nicht eingetreten werden (Devolutiveffekt; vgl. Art. 86 Abs. 1 lit. d BGG; BGE 134 II 142 E. 1.4 S. 144; 129 II 438 E. 1 S. 441).
2. Nach Art. 63 Abs. 2 AuG kann die Niederlassungsbewilligung eines Ausländers, der sich seit mehr als 15 Jahren ununterbrochen und ordnungsgemäss in der Schweiz aufhält, nur widerrufen werden, wenn er in schwerwiegender Weise gegen die öffentliche Sicherheit und Ordnung in der Schweiz oder im Ausland verstossen hat oder diese gefährdet oder die innere oder äussere Sicherheit gefährdet (Art. 63 Abs. 1 lit. b AuG) oder wenn er zu einer längerfristigen Freiheitsstrafe verurteilt wurde oder gegen ihn eine strafrechtliche Massnahme im Sinne von Art. 64 oder Art. 61 StGB angeordnet wurde (Art. 62 lit. b AuG). Als "längerfristig" gilt eine Freiheitsstrafe, wenn ihre Dauer ein Jahr überschreitet (BGE 135 II 377 E. 4.2 und E. 4.5 S. 379 ff.).
Der Beschwerdeführer wurde u.a. zu einer Freiheitsstrafe von fünfeinhalb Jahren verurteilt und hat somit einen Widerrufsgrund gesetzt, was er zu Recht nicht bestreitet.
3. 3.1 Ein Widerruf der Niederlassungsbewilligung rechtfertigt sich jedoch nur, wenn die jeweils im Einzelfall vorzunehmende Interessenabwägung die entsprechende Massnahme auch als verhältnismässig erscheinen lässt. Dabei sind namentlich die Schwere des Verschuldens, der Grad der Integration bzw. die Dauer der bisherigen Anwesenheit sowie die dem Betroffenen und seiner Familie drohenden Nachteile zu berücksichtigen (BGE 135 II 377 E. 4.3 ff. S. 381 ff.; vgl. Art. 96 Abs. 1 AuG).
3.2 Der Beschwerdeführer erachtet den Widerruf als unverhältnismässig: Die fahrlässige Tötung resp. die schwere Körperverletzung stehe im Zusammenhang mit seiner kombinierten Persönlichkeitsstörung und sekundär mit seiner Aufmerksamkeitsdefizit-Hyperaktivitätsstörung (ADHS). Er habe seine Fehler eingesehen und befinde sich in der angeordneten stationären therapeutischen Massnahme. Zudem lebe er seit seinem 5. Lebensjahr ununterbrochen in der Schweiz. In Serbien habe er, abgesehen von seiner 80-jährigen, kranken Grossmutter keinerlei Beziehungsnetz. Die seit 30 Jahren in der Schweiz lebende Mutter sei seine einzige Bezugsperson. Weiter sei zu berücksichtigen, dass er weder serbisch lesen noch schreiben könne und seine mündlichen Serbischkenntnisse mangelhaft seien.
3.2.1 Die Einwendungen des Beschwerdeführers vermögen indessen nicht zu überzeugen. Es trifft zwar zu, dass der Widerruf der Niederlassungsbewilligung eines Ausländers, welcher sich schon seit langer Zeit hier aufhält, nur mit Zurückhaltung angeordnet werden soll. Bei wiederholter bzw. schwerer Straffälligkeit ist diese Massnahme jedoch selbst dann nicht ausgeschlossen, wenn ein Ausländer hier geboren ist und sein ganzes bisheriges Leben in der Schweiz verbracht hat (vgl. BGE 135 II 110 E. 2.1 S. 112 mit Hinweisen).
3.2.2 Die zahlreichen vom Beschwerdeführer begangenen Straftaten und seine Verurteilungen zu Freiheitsstrafen von gesamthaft über fünfeinhalb Jahren lassen auf ein schweres Verschulden und auf eine erhebliche kriminelle Energie schliessen. Durch seine Delinquenz und insbesondere auch durch das von ihm verübte Tötungsdelikt sowie den Umstand, dass der Tod eines seiner Opfer ihn nicht davon abhielt, weiterhin Gewalt anzuwenden, demonstrierte er eine ausgeprägte Geringschätzung der Rechtsordnung, was ein Verbleiben in der Schweiz grundsätzlich ausschliesst. Entgegen der Behauptung des Beschwerdeführers hat sich Vorinstanz mit dem vom Strafgericht beurteilten Verschulden auseinandergesetzt. Sodann fällt ins Gewicht, dass das Kantonsgericht auch unter Berücksichtigung von strafmildernden Umständen immerhin eine Strafe von fünfeinhalb Jahren als angemessen erachtete. Ergänzend kann darauf hingewiesen werden, dass der Beschwerdeführer gemäss seinen eigenen Vorbringen offensichtlich bloss ein mehrheitlich kooperatives Verhalten und bloss eine gewisse Reue und Einsicht in die Tat gezeigt hat, was angesichts des Umstandes, dass er im Laufe einer Auseinandersetzung betreffend einen Bagatellbetrag den Tod eines anderen Menschen verursacht hat, ein negatives Licht auf seine Fähigkeit wirft, sich der geltenden Rechtsordnung anzupassen und seine Behauptung, er habe seinen Fehler eingesehen, stark relativiert.
Der Hinweis des Beschwerdeführers auf die von ihm behauptete günstige Zukunftsprognose geht fehl. Der Beschwerdeführer stützt sich dafür im Wesentlichen auf ein Gutachten vom 19. Februar 2006. Die Vorinstanz hat jedoch darauf hingewiesen, dass es einem eigentlichen Verhaltensmuster des Beschwerdeführers entspreche, dass er zu Beginn einer Massnahme grosse Motivation zeigt, an der Verbesserung seiner Situation zu arbeiten, wobei er sich in einem eng strukturierten Rahmen auch tatsächlich positiv entwickle. In der Folge hätten die Massnahmen aber ausnahmslos fehlgeschlagen, sobald der Rahmen seiner Betreuung wieder gelockert worden sei, was sich auch im derzeitigen Massnahmenvollzug bestätige. Dass in der vorgegebenen Zeit eine nachhaltige Senkung des Rückfallrisikos erreicht werden könne, werde von den Fachleuten bezweifelt. So habe der Beschwerdeführer am 3. Dezember 2009 erneut in den Eintrittspavillon zurückversetzt und wegen zahlreicher deliktrelevanter Regelverstösse diszipliniert werden müssen. Angesichts dieser durch die Akten dokumentierten Feststellung mutet es seltsam an, wenn der Beschwerdeführer vorträgt, er habe bisher - im Strafvollzug - zu keinen Klagen Anlass gegeben bzw. sich immer korrekt verhalten. Gemäss Vollzugsbericht vom 23. Februar 2010 ist denn auch weiterhin von einer hohen Rückfallgefahr bezüglich Gewaltdelikte auszugehen. Mit diesen Feststellungen setzt sich der Beschwerdeführer nicht auseinander. Mit seinem Hinweis auf eine Stellungnahme des psychiatrisch-psychologischen Dienstes des Justizvollzuges des Kantons Zürich vom 26. November 2009 vermag er nicht aufzuzeigen, dass die Einschätzungen im Vollzugsbericht vom 23. Februar 2010 unzutreffend wären. Es bestehen somit gewichtige öffentliche Interessen, den Beschwerdeführer von der Schweiz zu entfernen.
3.2.3 Die gegenläufigen privaten Interessen des Beschwerdeführers am Verbleib in der Schweiz fallen demgegenüber weniger schwer ins Gewicht. Zwar lebt der Beschwerdeführer seit seinem 5. Lebensjahr in der Schweiz. Trotz der langen Anwesenheitsdauer ist es ihm jedoch nicht gelungen, sich hier in die Gesellschaft und ins Berufsleben zu integrieren. Dass er in der Schweiz über ein funktionierendes soziales Umfeld verfügen würde, macht auch der Beschwerdeführer nicht geltend. Ein solches kann im Umstand, dass ihn seine Mutter - als einzige Person - mindestens einmal im Monat in der Strafanstalt besucht und dass er mit ihr wöchentlich telefonisch Kontakt hat, nicht erblickt werden. Im Übrigen hat ihn die Beziehung zur Mutter bisher nicht davon abgehalten, immer wieder straffällig zu werden. Der Beschwerdeführer könnte sich somit auch in der Schweiz nicht auf ein bestehendes soziales Netz abstützen und müsste ein solches vorerst aufbauen. Dem Umstand, dass er - zur Zeit - abgesehen von seiner Grossmutter über keine Kontaktpersonen in Serbien verfügt und weder serbisch lesen noch schreiben kann, kommt bei dieser Sachlage nicht allzu grosse Bedeutung zu. Der Beschwerdeführer führt selber aus, dass er - wenn auch mangelhaft - serbisch spricht. Auch darf davon ausgegangen werden, dass ihm die in Serbien herrschenden gesellschaftlichen Gepflogenheiten teilweise durch seine Mutter vermittelt worden und ihm somit nicht völlig unvertraut sind. Es wird ihm daher - eventuell nach anfänglichen Schwierigkeiten - möglich sein, sich in seinem Heimatland zurechtzufinden und auch seine sprachlichen Kenntnisse zu verbessern. Unter den vorliegenden Umständen ist dem Beschwerdeführer zuzumuten, in sein Heimatland zurückzukehren.
3.3 Zusammenfassend ergibt sich, dass es nicht gegen Bundesrecht verstösst, wenn das Verwaltungsgericht die Verhältnismässigkeit des Widerrufs der Niederlassungsbewilligung bejaht hat.
4. 4.1 Die Berufung auf Art. 8 EMRK ist dem Beschwerdeführer ebenfalls unbehelflich. Aus dem gemäss dieser staatsvertraglichen Bestimmung gewährleisteten Anspruch auf Schutz des Privatlebens ergibt sich ein Recht auf Verbleib im Land nur unter besonderen Umständen. Eine lange Anwesenheit und die damit verbundene normale Integration genügen hierzu nicht; erforderlich sind besonders intensive Beziehungen beruflicher oder gesellschaftlicher Natur (BGE 130 II 281 E. 3.2.1 S. 286 mit Hinweisen; Urteil 2C_266/2009 vom 2. Februar 2010 E. 3.2). Solche qualifizierten Bindungen des Beschwerdeführers zur Schweiz sind nicht zu erkennen und werden von ihm auch nicht dargelegt.
4.2 Der nach Art. 8 Abs. 1 EMRK garantierte Schutz des Familienlebens beschränkt sich grundsätzlich auf die Kernfamilie, d.h. die Gemeinschaft der Ehegatten mit ihren minderjährigen Kindern (vgl. BGE 129 II 11 E. 2 S. 14). Zwar hat der Europäische Gerichtshof für Menschenrechte (EGMR) in verschiedenen Entscheiden festgehalten, dass unter bestimmten Voraussetzungen auch die Beziehung von jungen Erwachsenen zu ihren Eltern vom Begriff des Familienlebens im Sinne der Konvention erfasst sein kann (vgl. Urteil des EGMR in Sachen Maslov gegen Österreich vom 23. Juni 2008, Beschwerde Nr. 1638/03, Rz. 62, mit Hinweisen). Ob sich der volljährige Beschwerdeführer aufgrund der Beziehung zu seiner Mutter auf den Schutzbereich von Art. 8 Ziff. 1 EMRK berufen kann, braucht indessen nicht abschliessend geprüft zu werden, zumal der betreffende Anspruch jedenfalls nicht absolut gilt. Aufgrund der Straffälligkeit des Beschwerdeführers erwiese sich ein Eingriff in das durch Ziff. 1 geschützte Rechtsgut gemäss Art. 8 Ziff. 2 EMRK ohnehin als statthaft, wobei die Konvention in diesem Zusammenhang eine mit dem schweizerischen Recht vergleichbare Interessenabwägung verlangt (vgl. BGE 130 II 281 E. 4.1 S. 290; 122 II 1 E. 2 S. 5/6 mit Hinweisen).
Aus dem Urteil des EGMR in Sachen Emre gegen die Schweiz vom 22. Mai 2008 (Beschwerde Nr. 42034/04) kann der Beschwerdeführer ebenfalls nichts zu seinen Gunsten ableiten. Einerseits lag der gegen Emre verfügten Massnahme (altrechtliche Ausweisung) eine wesentlich geringfügigere Delinquenz (Freiheitsstrafen von 18 1⁄2 Monaten) als jene des Beschwerdeführers zu Grunde. Andererseits erachtete es der Gerichtshof in erster Linie als problematisch, dass es dem Betroffenen durch die Ausweisung auf unbefristete Dauer verboten wurde, schweizerisches Gebiet zu betreten, und zum Zeitpunkt des Entscheides keine konkrete Möglichkeit einer vorübergehenden oder dauerhaften Aufhebung jener Massnahme ersichtlich war (Rz. 84 f. des erwähnten Entscheids; Urteil 2F_11/2008 vom 6. Juli 2009 E. 4.2). In der Zwischenzeit, mit Inkrafttreten des neuen Ausländergesetzes per 1. Januar 2008, wurde das Instrument der Ausweisung indes abgeschafft (mit Ausnahme der sogenannten politischen Ausweisung gemäss Art. 68 AuG) und durch die Erweiterung der bisherigen Gründe für einen Bewilligungswiderruf ersetzt (vgl. ZÜND/ARQUINT, Beendigung der Anwesenheit, Entfernung und Fernhaltung, in: Uebersax und andere [Hrsg.], Ausländerrecht, 2. Aufl. 2009, Rz. 8.2). Anders als die altrechtliche Ausweisung stellt ein Bewilligungswiderruf keine Fernhaltemassnahme dar. Reisen in die Schweiz (etwa zu Besuchszwecken) bei Erfüllung der gesetzlichen Einreisevoraussetzungen werden durch die hier streitige Massnahme nicht verunmöglicht.
5. Der Beschwerdeführer beanstandet, dass die Vorinstanz den Widerruf der Niederlassungsbewilligung verfügt hat, bevor die Strafe vollzogen bzw. die Massnahme abgeschlossen ist. Dieser Einwand geht fehl. Die Vorinstanz hat sich damit im angefochtenen Entscheid bereits ausführlich auseinandergesetzt und es kann auf die dortigen Erwägungen verwiesen werden, denen vollumfänglich zuzustimmen ist.
6. 6.1 Die Beschwerde ist demnach abzuweisen, soweit darauf eingetreten werden kann. Ergänzend wird auf die Ausführungen im angefochtenen Urteil verwiesen.
6.2 Im Hinblick namentlich auf die schwere Straffälligkeit des Beschwerdeführers und die in diesem Zusammenhang erfolgte Rechtsprechung, auf welche die Vorinstanz umfassend hingewiesen hat, waren die Beschwerdebegehren zum Vornherein aussichtslos (vgl. Art. 64 BGG). Dem für das bundesgerichtliche Verfahren gestellten Gesuch um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung kann daher nicht entsprochen werden. Die Gerichtskosten werden dem Beschwerdeführer auferlegt (Art. 66 Abs. 1 BGG), wobei bei der Bemessung der Gerichtsgebühr seiner finanziellen Lage Rechnung getragen wird (Art. 65 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3. Die Gerichtskosten von Fr. 700.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird dem Beschwerdeführer, dem Kantonalen Ausländeramt St. Gallen, dem Sicherheits- und Justizdepartement des Kantons St. Gallen, dem Verwaltungsgericht des Kantons St. Gallen und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 10. Februar 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Zünd Dubs