Sachverhalt:
A. Der kroatische Staatsangehörige X._ (geb. 1977) lebte bei seinen Grosseltern in Bosnien, bis er am 28. November 1991 im Alter von 14 Jahren im Rahmen des Familiennachzugs in die Schweiz einreiste. Er wurde in die Niederlassungsbewilligungsbewilligung der Eltern einbezogen.
In der Folge gab X._ wiederholt zu Klagen Anlass:
1996 bestrafte ihn das Polizeirichteramt des Kantons Zug (später Einzelrichteramt, heute Staatsanwaltschaft) wegen Sachbeschädigung mit einer Busse von Fr. 300.--;
1997 bestrafte ihn das Polizeirichteramt wegen einer einfachen Verkehrsregelverletzung mit einer Busse von Fr. 250.--;
1998 bestrafte ihn das Polizeirichteramt wegen einer groben Verkehrsregelverletzung mit einer Busse von Fr. 500.--;
am 20. Mai 1999 verurteilte ihn das Einzelrichteramt wegen einer groben Verkehrsregelverletzung zu einer bedingten Gefängnisstrafe von 20 Tagen bei drei Jahren Probezeit und einer Busse von Fr. 900.--;
am 17. Dezember 2001 verurteilte ihn das Strafgericht des Kantons Zug (als Zusatzstrafe zum Strafbefehl vom 20. Mai 1999) wegen gewerbsmässigen Diebstahls, mehrfachen Raubes, mehrfacher Sachbeschädigung, mehrfachen Hausfriedensbruchs und wegen mehrfacher grober Verletzung von Verkehrsregeln zu 17 Monaten und 10 Tagen Gefängnis unter Gewährung des bedingten Strafvollzuges und einer Busse von Fr. 1'000.--; die Probezeit wurde auf vier Jahre festgesetzt;
2002 bestrafte ihn das Einzelrichteramt wegen einer einfachen Verkehrsregelverletzung mit einer Busse von Fr. 200.--;
2003 bestrafte ihn das Einzelrichteramt wegen sexueller Belästigung mit einer Busse von Fr. 300.--;
am 24. Mai 2007 verurteilte ihn das Obergericht des Kantons Aargau wegen mehrfachen, zum Teil bandenmässigen Diebstahls, mehrfachen geringfügigen betrügerischen Missbrauchs einer Datenverarbeitungsanlage, Missbrauchs von Führerausweisen und geringfügiger Zechprellerei zu einer unbedingten Freiheitsstrafe von 10 Monaten und einer Busse von Fr. 1'000.--; der für die Gefängnisstrafe von 17 Monaten und 10 Tagen gewährte bedingte Strafvollzug wurde nicht widerrufen, jedoch die entsprechende Probezeit um zwei Jahre verlängert.
B. Mit Verfügung vom 26. März 2003 wurde X._ erstmals fremdenpolizeilich verwarnt und ihm die Ausweisung angedroht, sollte er erneut zu berechtigten Klagen Anlass geben. Nach der Verurteilung vom 24. Mai 2007 teilte ihm das Amt für Migration des Kantons Zug am 10. September 2007 die Absicht mit, ihn aus der Schweiz auszuweisen, und gewährte ihm das rechtliche Gehör.
Am 6. Mai 2008 verfügte das Amt für Migration die Ausweisung von X._ für die Dauer von zehn Jahren.
Im Februar 2009 wurde X._ in Haft genommen und am 3. Juli 2009 ordnete die Staatsanwaltschaft des Kantons Zug den vorzeitigen Antritt des Strafvollzugs an, da X._ weitere Straftaten vorgeworfen wurden, er zumindest teilweise geständig war und mit einer unbedingten Freiheitsstrafe von deutlich über einem Jahr zu rechnen hatte.
C. Die von X._ gegen die Ausweisungsverfügung erhobene Beschwerde wies der Regierungsrat des Kantons Zug mit Beschluss vom 20. Oktober 2009 ab. Dagegen beschwerte sich X._ mit Eingabe vom 23. November 2009 beim Verwaltungsgericht des Kantons Zug.
Mit Urteil des Strafgerichts des Kantons Zug vom 7. Januar 2010 wurde X._ der Tätlichkeiten gemäss <ref-law>, des mehrfachen Diebstahls, des mehrfachen versuchten Diebstahls, des geringfügigen Diebstahls, des gewerbsmässigen und bandenmässigen Diebstahls, der mehrfachen Sachbeschädigung, des mehrfachen Hausfriedensbruchs und des versuchten Hausfriedensbruchs schuldig gesprochen und mit einer Freiheitsstrafe von 29 Monaten, als Gesamtstrafe und teilweise als Zusatzstrafe zum Urteil vom 24. Mai 2007, bestraft. Das Vollzugsende ist auf den 4. August 2012 angesetzt; die bedingte Entlassung ist frühestens am 20. April 2011 möglich.
Das Verwaltungsgericht des Kantons Zug wies die Beschwerde gegen den Entscheid des Regierungsrats betreffend Ausweisung mit Urteil vom 23. Februar 2010 ab.
D. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 29. März 2010 beantragt X._, das Urteil des Verwaltungsgerichts des Kantons Zug vom 23. Februar aufzuheben, von einer Ausweisung abzusehen und den Beschwerdeführer unter Androhung der Ausweisung zu verwarnen.
Die Sicherheitsdirektion des Kantons Zug - im Namen des Regierungsrates - sowie das Bundesamt für Migration schliessen auf Abweisung der Beschwerde. Das Verwaltungsgericht des Kantons Zug beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten ist.
E. Am 10. September 2010 heiratete X._ eine als Touristin in die Schweiz eingereiste serbische Staatsangehörige. Am 17. Dezember 2010 kam der gemeinsame Sohn zur Welt. Mit Verfügung vom 6. Januar 2011 wies das Amt für Migration das von X._ gestellte Familiennachzugsgesuch für seine Ehegattin und das Kind ab. Dagegen ist eine Beschwerde beim Regierungsrat des Kantons Zug hängig.

Erwägungen:
1. 1.1 Angefochten ist ein letztinstanzlicher kantonaler Endentscheid über eine gestützt auf Art. 10 Abs. 1 lit. a des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG) verfügte Ausweisung, wogegen das ordentliche Rechtsmittel der Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig ist (<ref-law> e contrario). Der Beschwerdeführer ist hierzu legitimiert (<ref-law>).
1.2 Am 1. Januar 2008 ist das Bundesgesetz vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20) in Kraft getreten. Art. 126 Abs. 1 AuG bestimmt jedoch, dass auf Gesuche, die vor dem Inkrafttreten dieses Gesetzes eingereicht worden sind, noch das bisherige Recht anwendbar bleibt. Gleiches gilt in analoger Anwendung der genannten Übergangsregelung auch für vor Inkrafttreten des neuen Rechts behördlich eingeleitete ausländerrechtliche Massnahmen wie die Ausweisung. Das Verfahren richtet sich jedoch nach dem neuen Recht (Art. 126 Abs. 2 AuG).
1.3 Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt bzw. vom Bundesgericht von Amtes wegen berichtigt oder ergänzt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law> bzw. <ref-law>). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>; vgl. <ref-ruling> E. 1.5 S. 146 f.). Das schliesst echte Noven, die erst eingetreten sind, nachdem der angefochtene Entscheid ergangen ist, grundsätzlich aus.
2. 2.1 Gemäss Art. 10 Abs. 1 ANAG kann ein Ausländer unter anderem dann aus der Schweiz ausgewiesen werden, wenn er wegen eines Verbrechens oder Vergehens gerichtlich bestraft wurde (lit. a) oder wenn sein Verhalten im Allgemeinen und seine Handlungen darauf schliessen lassen, dass er nicht gewillt oder nicht fähig ist, sich in die im Gaststaat geltende Ordnung einzufügen (lit. b).
2.2 Eine Ausweisung soll jedoch nur verfügt werden, wenn sie nach den gesamten Umständen verhältnismässig erscheint (Art. 11 Abs. 3 ANAG). Dabei sind namentlich die Schwere des Verschuldens, die Dauer der Anwesenheit sowie die dem Betroffenen und seiner Familie drohenden Nachteile zu berücksichtigen (vgl. Art. 16 Abs. 3 der Vollziehungsverordnung vom 1. März 1949 zum Bundesgesetz über Aufenthalt und Niederlassung der Ausländer [ANAV]; <ref-ruling> E. 2.a S. 107; vgl. auch <ref-ruling> E. 4.3 S. 381 ff).
3. 3.1 Der Beschwerdeführer ist in der Schweiz wiederholt straffällig geworden und deshalb unter anderem zu Freiheitsstrafen von 17 Monaten und 10 Tagen, von 10 Monaten und zuletzt zu 29 Monaten (als Gesamtstrafe und teilweise als Zusatzstrafe zum vorhergehenden Urteil) verurteilt worden. Mithin liegt ein Ausweisungsgrund gemäss Art. 10 Abs. 1 lit. a ANAG vor. Im Übrigen wären auch die Voraussetzungen für den Widerruf der Niederlassungsbewilligung nach neuem Recht erfüllt (Art. 63 Abs. 2 in Verbindung mit Art. 62 lit. b AuG). Nachdem der Beschwerdeführer seit 1996 immer wieder delinquierte, was von einer gewissen Unbelehrbarkeit zeugt, erwog die Vorinstanz zu Recht, auch der Ausweisungsgrund von Art. 10 Abs. 1 lit. b ANAG müsse als erfüllt betrachtet werden. Die gegen den Beschwerdeführer verfügte fremdenpolizeiliche Massnahme erweist sich daher als statthaft, wenn sie auch dem Prinzip der Verhältnismässigkeit zu genügen vermag.
3.2 Ausgangspunkt und Massstab für die fremdenpolizeiliche Interessenabwägung ist das strafrechtliche Verschulden. Zwar bestehen keine schriftlichen Begründungen der Urteile des Zuger Strafgerichts (17. Dezember 2001) und des Obergerichts des Kantons Aargau (24. Mai 2007). Wie die Vorinstanz zutreffend feststellte, zeugen aber bereits die ausgesprochenen Hauptstrafen deutlich von einem erheblichen strafrechtlichen Verschulden. Seit dem 19. Altersjahr ist der Beschwerdeführer immer wieder straffällig geworden. wobei anfänglichen Bagatelldelikten immer schwerere Gesetzesverstösse folgten. Weder die ausgesprochenen Strafen, noch die angesetzten Probezeiten, noch die fremdenpolizeiliche Verwarnung veranlassten den Beschwerdeführer, sich zu bessern. Im Gegenteil delinquierte er noch während der Probezeit früherer Urteile weiter. Es trifft zwar zu, dass der Beschwerdeführer nicht hauptsächlich wegen Gewaltdelikten bestraft wurde, indessen ging es bei den Verurteilungen um gewerbsmässigen, zum Teil bandenmässigen Diebstahl, mehrfachen Raub, mehrfache Sachbeschädigungen, Tätlichkeiten und um mehrfache grobe Verletzungen von Verkehrsregeln, wobei die Vielzahl der Straftaten und die Gewerbs- und Bandenmässigkeit der Delinquenz besonders ins Gewicht fallen. Die Vorinstanz erachtete das Verschulden des Beschwerdeführers, der fast zu vier Jahren Freiheitsstrafen verurteilt wurde, als insgesamt sehr schwer. Die anhaltende Straffälligkeit zeugt von einer nicht hinnehmbaren Gleichgültigkeit gegenüber der geltenden Rechtsordnung. Unter den gegebenen Umständen erscheint die Entfernung und Fernhaltung des Beschwerdeführers nicht nur wegen der begangenen Straftaten angezeigt, sondern auch mit Blick darauf, dass von ihm nach wie vor eine gegenwärtige Gefahr für die öffentliche Ordnung ausgeht. Seine Ausweisung aus der Schweiz entspricht damit einem erheblichen öffentlichen Interesse.
3.3 Die gegenläufigen privaten Interessen des Beschwerdeführers am Verbleib in der Schweiz fallen demgegenüber weniger ins Gewicht. Gegen seine Ausweisung spricht zwar, dass der Beschwerdeführer, welcher im Familiennachzug in die Schweiz kam, bereits seit seinem 14. Altersjahr, d.h. im Zeitpunkt des angefochtenen Urteils seit etwas über 18 Jahren und damit den grösseren Teil seines Lebens hier weilt. Er ist jedoch kein Ausländer der zweiten Generation. Trotz langer Aufenthaltsdauer kann nicht von einer guten Integration des Beschwerdeführers und schon gar nicht von einer Verwurzelung in der Schweiz gesprochen werden. Obwohl er offenbar erfolgreich Tennis spielte und über eine Ausbildung als Tennislehrer verfügt, ist es ihm nicht gelungen, hier beruflich Fuss zu fassen. In sozialer Hinsicht lässt der Beschwerdeführer keinerlei Verbundenheit mit der schweizerischen Gesellschaft erkennen. In diesem Zusammenhang fällt auf, dass er die zahlreichen Straftaten mit aus dem ehemaligen Jugoslawien stammenden Kollegen beging und keine Hinweise auf einen schweizerischen Bekanntenkreis ersichtlich sind. Die Beziehungen zu seinen Familienangehörigen vermochten ihn nicht davon abzuhalten, immer wieder Delikte zu begehen. Im Übrigen ist davon auszugehen, dass ihm Kultur und Gepflogenheiten seines Heimatlandes durch sein Elternhaus vermittelt worden und somit nicht gänzlich unvertraut sind. Weiter behauptet er nicht, dass er sprachlich nicht in der Lage wäre, sich in Kroatien zu verständigen. Dass der Beschwerdeführer offenbar beabsichtigt, in seinem Heimatland ein Haus zu bauen, deutet ebenfalls darauf hin, dass er weiterhin mit seiner Heimat verbunden ist. Dem Beschwerdeführer ist folglich zuzumuten, dorthin auszureisen.
Die nachträgliche Heirat (10. September 2010) mit einer serbischen Staatsangehörigen und die Geburt eines gemeinsamen Kindes sind als echte Noven für das vorliegende Verfahren grundsätzlich unerheblich (vgl. E. 1.3). Aus diesen neuen familiären Verhältnissen liesse sich aber ohnehin nichts zu Gunsten eines Verbleibs des Beschwerdeführers in der Schweiz ableiten, nachdem die Ehegattin und das Kind im Ausland Wohnsitz haben. Im Gegenteil wäre die Ausreise des Beschwerdeführers zu seiner Ehefrau und zu seinem Kind umso mehr als zumutbar zu betrachten.
3.4 Die Anordnung der Ausweisung, die hier im Übrigen nicht auf unbestimmte Dauer, sondern für zehn Jahre ausgesprochen wurde, ist nicht unverhältnismässig. Sie erweist sich vielmehr als erforderliche Massnahme, nachdem der Beschwerdeführer während Jahren immer wieder straffällig wurde und, obwohl ihm klar sein musste, dass sein ausländerrechtlicher Status bei Fortsetzung der Delinquenz in Gefahr geraten könnte, sein Verhalten nicht änderte, und zwar wie erwähnt auch nicht, nachdem ihm die Ausweisung angedroht wurde. Es ist daher nicht zu beanstanden, wenn die Vorinstanzen die Ausweisung ausgesprochen und nicht lediglich angedroht haben.
4. Der Beschwerdeführer rügt zudem eine Verletzung von Art. 8 EMRK, weil mit der Ausweisung seine intensiv gelebten familiären Banden zu seinen Eltern und weiteren in der Schweiz wohnhaften Verwandten zerstört würden. Er verkennt dabei, dass sich im Zusammenhang mit ausländerrechtlichen Massnahmen grundsätzlich nur die Eheleute und die minderjährigen Kinder auf diese Bestimmung berufen können. Anhaltspunkte für massgebliche Abhängigkeiten, die ausnahmsweise eine weitere Anwendbarkeit rechtfertigen (vgl. <ref-ruling>; <ref-ruling>), bestehen nicht. Dass dem Beschwerdeführer gestützt auf das Privatleben ein Anwesenheitsrecht zustünde (vgl. dazu das Urteil des Bundesgerichts 2C_266/2009 vom 22. Februar 2010 mit Hinweisen), macht er zu Recht nicht geltend, zumal die entsprechenden Voraussetzungen angesichts seiner mangelhaften Integration und seiner Straffälligkeit offensichtlich nicht erfüllt wären. Was seine Beziehung zu seiner Ehegattin und seinem Kind anbelangt, wäre Art. 8 EMRK im Übrigen ohnehin nicht betroffen, da die verfügte Ausweisung nicht zur Trennung der Familie führt.
5. 5.1 Das angefochtene Urteil erweist sich damit als bundesrechts- und konventionskonform. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist folglich abzuweisen. Ergänzend kann auf die Erwägungen der Vorinstanz verwiesen werden.
5.2 Entsprechend dem Ausgang sind die Kosten des bundesgerichtlichen Verfahrens dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Amt für Migration des Kantons Zug, dem Regierungsrat des Kantons Zug, dem Verwaltungsgericht des Kantons Zug, Verwaltungsrechtliche Kammer, und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 22. März 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Zünd Dubs