Sachverhalt: A. Der kroatische Staatsangehörige X._ (geb. 1977) lebte bei seinen Grosseltern in Bosnien, bis er am 28. November 1991 im Alter von 14 Jahren im Rahmen des Familiennachzugs in die Schweiz einreiste. Er wurde in die Niederlassungsbewilligungsbewilligung der Eltern einbezogen. In der Folge gab X._ wiederholt zu Klagen Anlass: 1996 bestrafte ihn das Polizeirichteramt des Kantons Zug (später Einzelrichteramt, heute Staatsanwaltschaft) wegen Sachbeschädigung mit einer Busse von Fr. 300.--; 1997 bestrafte ihn das Polizeirichteramt wegen einer einfachen Verkehrsregelverletzung mit einer Busse von Fr. 250.--; 1998 bestrafte ihn das Polizeirichteramt wegen einer groben Verkehrsregelverletzung mit einer Busse von Fr. 500.--; am 20. Mai 1999 verurteilte ihn das Einzelrichteramt wegen einer groben Verkehrsregelverletzung zu einer bedingten Gefängnisstrafe von 20 Tagen bei drei Jahren Probezeit und einer Busse von Fr. 900.--; am 17. Dezember 2001 verurteilte ihn das Strafgericht des Kantons Zug (als Zusatzstrafe zum Strafbefehl vom 20. Mai 1999) wegen gewerbsmässigen Diebstahls, mehrfachen Raubes, mehrfacher Sachbeschädigung, mehrfachen Hausfriedensbruchs und wegen mehrfacher grober Verletzung von Verkehrsregeln zu 17 Monaten und 10 Tagen Gefängnis unter Gewährung des bedingten Strafvollzuges und einer Busse von Fr. 1'000.--; die Probezeit wurde auf vier Jahre festgesetzt; 2002 bestrafte ihn das Einzelrichteramt wegen einer einfachen Verkehrsregelverletzung mit einer Busse von Fr. 200.--; 2003 bestrafte ihn das Einzelrichteramt wegen sexueller Belästigung mit einer Busse von Fr. 300.--; am 24. Mai 2007 verurteilte ihn das Obergericht des Kantons Aargau wegen mehrfachen, zum Teil bandenmässigen Diebstahls, mehrfachen geringfügigen betrügerischen Missbrauchs einer Datenverarbeitungsanlage, Missbrauchs von Führerausweisen und geringfügiger Zechprellerei zu einer unbedingten Freiheitsstrafe von 10 Monaten und einer Busse von Fr. 1'000.--; der für die Gefängnisstrafe von 17 Monaten und 10 Tagen gewährte bedingte Strafvollzug wurde nicht widerrufen, jedoch die entsprechende Probezeit um zwei Jahre verlängert. B. Mit Verfügung vom 26. März 2003 wurde X._ erstmals fremdenpolizeilich verwarnt und ihm die Ausweisung angedroht, sollte er erneut zu berechtigten Klagen Anlass geben. Nach der Verurteilung vom 24. Mai 2007 teilte ihm das Amt für Migration des Kantons Zug am 10. September 2007 die Absicht mit, ihn aus der Schweiz auszuweisen, und gewährte ihm das rechtliche Gehör. Am 6. Mai 2008 verfügte das Amt für Migration die Ausweisung von X._ für die Dauer von zehn Jahren. Im Februar 2009 wurde X._ in Haft genommen und am 3. Juli 2009 ordnete die Staatsanwaltschaft des Kantons Zug den vorzeitigen Antritt des Strafvollzugs an, da X._ weitere Straftaten vorgeworfen wurden, er zumindest teilweise geständig war und mit einer unbedingten Freiheitsstrafe von deutlich über einem Jahr zu rechnen hatte. C. Die von X._ gegen die Ausweisungsverfügung erhobene Beschwerde wies der Regierungsrat des Kantons Zug mit Beschluss vom 20. Oktober 2009 ab. Dagegen beschwerte sich X._ mit Eingabe vom 23. November 2009 beim Verwaltungsgericht des Kantons Zug. Mit Urteil des Strafgerichts des Kantons Zug vom 7. Januar 2010 wurde X._ der Tätlichkeiten gemäss Art. 126 Abs. 1 StGB, des mehrfachen Diebstahls, des mehrfachen versuchten Diebstahls, des geringfügigen Diebstahls, des gewerbsmässigen und bandenmässigen Diebstahls, der mehrfachen Sachbeschädigung, des mehrfachen Hausfriedensbruchs und des versuchten Hausfriedensbruchs schuldig gesprochen und mit einer Freiheitsstrafe von 29 Monaten, als Gesamtstrafe und teilweise als Zusatzstrafe zum Urteil vom 24. Mai 2007, bestraft. Das Vollzugsende ist auf den 4. August 2012 angesetzt; die bedingte Entlassung ist frühestens am 20. April 2011 möglich. Das Verwaltungsgericht des Kantons Zug wies die Beschwerde gegen den Entscheid des Regierungsrats betreffend Ausweisung mit Urteil vom 23. Februar 2010 ab. D. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 29. März 2010 beantragt X._, das Urteil des Verwaltungsgerichts des Kantons Zug vom 23. Februar aufzuheben, von einer Ausweisung abzusehen und den Beschwerdeführer unter Androhung der Ausweisung zu verwarnen. Die Sicherheitsdirektion des Kantons Zug - im Namen des Regierungsrates - sowie das Bundesamt für Migration schliessen auf Abweisung der Beschwerde. Das Verwaltungsgericht des Kantons Zug beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten ist. E. Am 10. September 2010 heiratete X._ eine als Touristin in die Schweiz eingereiste serbische Staatsangehörige. Am 17. Dezember 2010 kam der gemeinsame Sohn zur Welt. Mit Verfügung vom 6. Januar 2011 wies das Amt für Migration das von X._ gestellte Familiennachzugsgesuch für seine Ehegattin und das Kind ab. Dagegen ist eine Beschwerde beim Regierungsrat des Kantons Zug hängig.