Sachverhalt: A. A.a. A._ (geb.1989) stammt aus dem Kosovo. Er reiste am 5. Oktober 1996 im Rahmen des Familiennachzugs in die Schweiz ein und erhielt zu einem von der Vorinstanz nicht festgestellten Zeitpunkt die Niederlassungsbewilligung. A.b. A._ wurde während seines Aufenthalts in der Schweiz mehrfach strafrechtlich verurteilt. Am 25. Januar 2008 sprach ihn das Jugendgericht des Kantons Zug unter anderem der einfachen Körperverletzung, des mehrfachen versuchten Raubes sowie der Drohung schuldig. Es verurteilte ihn zu einem bedingten viermonatigen Freiheitsentzug bei zweijähriger Probezeit und ordnete eine definitive Unterbringung in einer Erziehungseinrichtung an. Aufgrund der Verurteilung drohte das Amt für Migration A._ im Mai 2008 den Widerruf der Niederlassungsbewilligung an. Vom Widerruf sah es indessen ab, da A._ eine Lehre als Möbelschreiner begonnen und eine Therapie gegen seine Aggressivität in Angriff genommen hatte. A._ wurde am 23. Juni 2008 förmlich verwarnt. In der Folge ergingen weitere strafrechtliche Erkenntnisse: Mit Urteil des Gerichtskreises II Biel-Nidau wurde A._ wegen Diebstahls mit 120 Stunden gemeinnütziger Arbeit bestraft; weiter wurde er mit Strafbefehl der Staatsanwaltschaft Zug vom 9. Mai 2009 wegen mehrfachen Diebstahls, mehrfacher Sachbeschädigung und Hausfriedensbruchs zu einer Geldstrafe von 30 Tagessätzen und einer Busse sowie mit Strafbefehl der Staatsanwaltschaft Zug vom 22. September 2009 wegen mehrfacher einfacher Körperverletzung und Hausfriedensbruchs zu einer Geldstrafe von 180 Tagessätzen verurteilt. In der Folge verwarnte das Amt für Migration A._ ein weiteres Mal. Sodann ergingen weitere Straferkenntnisse, im Wesentlichen wegen Raufhandels (30. April 2010; Geldstrafe von 180 Tagessätzen), versuchten Diebstahls, Sachbeschädigung und Hausfriedensbruchs (14. Januar 2011; Geldstrafe von 90 Tagessätzen); Hausfriedensbruchs, Widerhandlungen gegen das Betäubungsmittelgesetz und das Polizeistrafgesetz (30 Tagessätze und Busse); mehrfacher Tätlichkeiten (3. Mai 2011; Busse) sowie Verübens einer Tat in selbstverschuldeter Unzurechnungsfähigkeit (11. März 2013; 40 Tagessätze und Busse). Am 28. Mai 2013 (Berichtigung 15. Juli 2013) verurteilte das Strafgericht des Kantons Zug A._ unter anderem wegen mehrfacher versuchter schwerer Körperverletzung, einfacher Körperverletzung, Raufhandels, Diebstahls, versuchter Sachbeschädigung und Hinderung einer Amtshandlung zu einer unbedingten Freiheitsstrafe von 26 Monaten und einer Geldstrafe zu zehn Tagessätzen. Das Strafgericht hatte darin Delikte zu beurteilen, die A._ nach 2010 begangen hatte. B. Am 16. Dezember 2013 widerrief das Amt für Migration die Niederlassungsbewilligung von A._ und wies ihn aus der Schweiz weg. Eine hiergegen beim Regierungsrat des Kantons Zug erhobene Eingabe wies dieser ab. Die beim Verwaltungsgericht dagegen erhobene Beschwerde blieb erfolglos (Urteil vom 26. Februar 2015). C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 4. Mai 2015 beantragt A._ dem Bundesgericht, das Urteil vom 26. Februar 2015 wie auch der Entscheid des Regierungsrats und die Verfügung des Migrationsamt seien aufzuheben. Von einem Widerruf der Niederlassungsbewilligung sei abzusehen. Stattdessen sei der Beschwerdeführer zu verwarnen. Der Regierungsrat des Kantons Zug verzichtet darauf, sich vernehmen zu lassen. Das Verwaltungsgericht des Kantons Zug beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Das Staatssekretariat für Migration beantragt, die Beschwerde sei abzuweisen. Der Beschwerdeführer hält in einer weiteren Eingabe an seinen Anträgen fest.