Sachverhalt: A. A.a X._, geboren am 5. April 1985, stammt aus Mazedonien. Am 29. Januar 1991 reiste er im Familiennachzug zum Verbleib bei den Eltern in die Schweiz ein. Er ist im Besitz einer Niederlassungsbewilligung mit Kontrollfrist bis zum 2. Juli 2014. Eine am 6. Juli 2006 in Mazedonien geschlossene Ehe mit seiner Landsfrau Y._ wurde am 12. November 2008 wieder geschieden. Am 26. August 2011 ehelichte X._ die in der Schweiz niedergelassene Z._ aus Serbien und Montenegro, geboren am 30. Dezember 1985. A.b Zwischen April 2001 und Juli 2010 wurde X._ wiederholt straffällig. Die gemäss dem Jugendstrafrecht verfolgten Taten betrafen Raub (Einschliessung von 30 Tagen), fahrlässige Verursachung einer Feuersbrunst (Verweis) sowie Tätlichkeiten und Diebstahl (Einschliessung von vier Tagen). Als junger Erwachsener verübte X._ zunächst folgende Straftaten, welche zu Freiheitsstrafen führten: Urteil des Bezirksgerichts Horgen vom 15. März 2006: 16 Monate Gefängnis wegen gewerbs- und bandenmässigen Diebstahls, mehrfacher Sachbeschädigung, mehrfachen Hausfriedensbruchs, Entwendung eines Motorfahrzeugs zum Gebrauch und Missbrauchs von Ausweisen und Schildern; Urteil des Bezirksgerichts Horgen vom 8. November 2006: Ein Monat Gefängnis als Zusatzstrafe zum Urteil des Bezirksgerichts Horgen vom 15. März 2006 wegen Diebstahls, Sachbeschädigung und Hausfriedensbruchs. Am 23. Oktober 2007 drohte die Fremdenpolizei des Kantons Schwyz (heute: Amt für Migration) X._ die Ausweisung an für den Fall, dass er erneut verurteilt würde oder sein Verhalten zu anderen berechtigten Klagen Anlass geben sollte. In der Folge kam es neben verschiedenen Bussenverfügungen zu folgenden Verurteilungen: Urteil des Bezirksgerichts Horgen vom 3. Dezember 2008: Freiheitsstrafe von acht Monaten und Busse von Fr. 600.-- wegen mehrfacher grober Verletzung der Verkehrsregeln, Fahrens in fahrunfähigem Zustand, versuchter Vereitelung von Massnahmen zur Feststellung der Fahrunfähigkeit und Übertretung des Betäubungsmittelgesetzes; Strafbescheid der Staatsanwaltschaft des Kantons St. Gallen vom 27. Januar 2009: Vier Monate Freiheitsstrafe als Zusatzstrafe zum Urteil des Bezirksgerichts Horgen vom 3. Dezember 2008 wegen mehrfachen Diebstahls, mehrfacher Sachbeschädigung und mehrfachen Hausfriedensbruchs; Verfügung des Verkehrsamtes des Kantons Schwyz vom 8. Juli 2010: Vorsorglicher Sicherungsentzug des Führerausweises und Anordnung eines verkehrsmedizinischen Untersuchs wegen Lenkens eines Personenwagens am 31. Mai 2010 unter Drogeneinfluss; Strafbefehl der Oberstaatsanwaltschaft des Kantons Schwyz vom 31. März 2011: Sechs Monate Freiheitsstrafe und Fr. 300.-- Busse als teilweise Zusatzstrafe zum Urteil des Bezirksgerichts Horgen vom 3. Dezember 2008 und zum Strafbescheid der Staatsanwaltschaft des Kantons St. Gallen vom 27. Januar 2009 wegen mehrfachen Diebstahls, einfacher Sachbeschädigung, qualifizierter Sachbeschädigung, mehrfachen Hausfriedensbruchs, Führens eines Motorfahrzeugs in fahrunfähigem Zustand, Entwendung eines Motorfahrzeugs zum Gebrauch und mehrfacher Widerhandlung gegen das Betäubungsmittelgesetz zwischen Sommer 2008 und März 2009. A.c Gemäss Betreibungsregisterauszug vom 26. August 2010 beliefen sich X._s Privatschulden auf knapp Fr. 35'000.--, wobei den Gläubigern in der Mehrzahl der Fälle ein Verlustschein ausgestellt wurde.