Sachverhalt: A. Der serbische Staatsangehörige X._ (geb. 1979) reiste am 30. Oktober 1993 unter dem Namen Y._ im Rahmen des Familiennachzugs zu seinen Eltern in die Schweiz ein, wo er im Kanton Zürich eine Aufenthaltsbewilligung erhielt. Mit Urteil des Bezirksgerichts Pfäffikon vom 7. Februar 2001 wurde er zu einer Freiheitsstrafe von zwei Jahren und einer Busse von Fr. 1'000.-- verurteilt; in der Folge verweigerte die zuständige Behörde des Kantons Zürich die Verlängerung der Aufenthaltsbewilligung und wies ihn weg. Am 7. April 2002 wurde X._ polizeilich ausgeschafft; zudem verfügte das damalige Bundesamt für Ausländerfragen (heute: Bundesamt für Migration) eine Einreisesperre auf unbestimmte Dauer. Am 4. April 2003 heiratete X._ unter dem Namen Z._ eine in der Schweiz niedergelassene Landsfrau und reiste am 7. März 2004 im Rahmen des Familiennachzugs wieder in die Schweiz ein. Nachdem X._ mehrfach straffällig geworden war (u.a. Verurteilungen zu knapp sechs Monaten Gefängnis), verweigerten die zuständigen Behörden des Kantons Schwyz am 19. Dezember 2006 die Verlängerung der Aufenthaltsbewilligung und wiesen ihn an, die Schweiz zu verlassen. Die Ehe wurde am 19. März 2007 geschieden. Im Kosovo liess er am 10. Juli 2007 erneut seinen Namen ändern (von Z._ in X._). Am 19. September 2007 heiratete er die kosovarische Staatsangehörige A._ (geb. 1984), die in der Schweiz über eine Niederlassungsbewilligung verfügt. Am 30. Mai 2008 reiste er im Rahmen des Familiennachzugs - erneut unter Missachtung des Einreiseverbots - in die Schweiz ein und erhielt im Kanton Luzern eine Aufenthaltsbewilligung. Am 15. August 2009 kam die gemeinsame Tochter B._ zur Welt. B. Am 18. Januar 2010 wies das Bundesamt für Migration (BFM) ein Gesuch von X._ um Aufhebung der Einreisesperre ab; zudem wies das BFM darauf hin, dass der Aufenthalt von X._ nicht weiter zu verlängern sei. Mit Verfügung vom 8. März 2010 verweigerte das Amt für Migration des Kantons Luzern X._ die Verlängerung der Aufenthaltsbewilligung und ordnete seine Wegweisung an. Die dagegen erhobene Beschwerde wies das Justiz- und Sicherheitsdepartement des Kantons Luzern am 7. September 2010 ab. Das Verwaltungsgericht des Kantons Luzern wies die dagegen erhobene Beschwerde am 24. Oktober 2011 ab, soweit es darauf eintrat. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 5. Dezember 2011 beantragt X._, das Urteil vom 24. Oktober 2011 sei aufzuheben und es sei ihm der weitere Aufenthalt in der Schweiz zu gestatten, eventualiter sei die Streitsache an die Vorinstanz zurückzuweisen. Das Verwaltungsgericht des Kantons Luzern und das Bundesamt für Migration beantragen die Abweisung der Beschwerde. Das Amt für Migration und das Justiz- und Sicherheitsdepartement des Kantons Luzern haben sich nicht vernehmen lassen. D. Mit Verfügung vom 8. Dezember 2011 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss die aufschiebende Wirkung zuerkannt.