Sachverhalt:
A. A.a X._ (geboren 1987), Staatsangehöriger von Bosnien und Herzegowina, reiste am 7. Januar 1995 im Rahmen des Familiennachzugs zu seiner Mutter, welche damals mit einem Schweizer verheiratet war, in die Schweiz ein. Nach der Nichtigerklärung dieser Ehe am 27. Oktober 1994 wurde die Familie angewiesen, die Schweiz zu verlassen; sie wurde jedoch am 13. November 2000 gestützt auf den Bundesratsbeschluss vom 1. März 2000 betreffend die "Humanitäre Aktion 2000" vorläufig aufgenommen. Wegen wiederholter Straffälligkeit von X._ wurde die vorläufige Aufnahme am 2. November 2004 aufgehoben und die Familie aufgefordert, die Schweiz bis am 5. Januar 2005 zu verlassen.
Am 12. Juli 2005 heiratete X._ die in der Schweiz niederlassungsberechtigte kroatische Staatsangehörige Y._ (geboren 1985), worauf er eine Aufenthaltsbewilligung zum Verbleib bei der Ehefrau erhielt. Die Bewilligung wurde letztmals bis zum 18. April 2008 verlängert. Am 30. Juni 2006 wurde die Tochter Z._ geboren. Am 20. Januar 2007 hoben die Eheleute X.-Y._ den gemeinsamen Haushalt auf.
A.b Zwischen Juli 2000 und Dezember 2004 verurteilten die Jugendanwaltschaft Luzern und das Amtsgericht Luzern-Land X._ zu zahlreichen Strafen und Massnahmen wegen Ladendiebstahls, Diebstahls, versuchten Raubs, Raubs, mehrfacher Sachbeschädigung, Hausfriedensbruchs, versuchter Brandstiftung, versuchten bandenmässigen Raubs und Übertretung des Betäubungsmittelgesetzes.
Das Amt für Migration des Kantons Luzern (nachfolgend: Amt für Migration) verwarnte X._ am 4. April 2006 und teilte ihm mit, bei weiteren Vergehen könne er nicht mehr unbedingt mit der Verlängerung der Aufenthaltsbewilligung rechnen.
In der Folge kam es zu insgesamt zehn weiteren Strafverfügungen wegen Verstössen gegen das Strassenverkehrsgesetz, Drohung und wiederholter Tätlichkeit (häusliche Gewalt), Widerhandlungen gegen das Betäubungsmittelgesetz und Diebstahls.
Das Kriminalgericht des Kantons Luzern verurteilte X._ am 3. Juli 2008 wegen mehrfacher Widerhandlung gegen das Betäubungsmittelgesetz (begangen als schwerer Fall), mehrfachen Führens eines Motorfahrzeugs unter Drogeneinfluss bzw. in fahrunfähigem Zustand, mehrfachen Führens und Mitfahrens eines entwendeten Personenwagens sowie Diebstahls zu einer Freiheitsstrafe von 20 Monaten.
Die Strafe wurde unter Annahme einer in mittlerem Grad verminderten Schuldfähigkeit ausgesprochen und der Vollzug zugunsten einer stationären Massnahme nach Art. 60 StGB aufgeschoben. Gestützt auf ein psychiatrisches Gutachten vom 30. November 2009 ersetzte das Kriminalgericht des Kantons Luzern die angeordnete stationäre Massnahme am 3. Mai 2010 durch eine kombinierte Massnahme nach Art. 59 und Art. 60 StGB.
A.c Nach Gewährung des rechtlichen Gehörs am 28. Februar 2011 wies das Amt für Migration das Gesuch von X._ um Verlängerung der Aufenthaltsbewilligung am 13. Mai 2011 ab.
B. Die dagegen erhobene Beschwerde wies das Justiz- und Sicherheitsdepartement des Kantons Luzern (nachfolgend: Justiz- und Sicherheitsdepartement) am 3. Januar 2012 ab. Das Verwaltungsgericht des Kantons Luzern (nachfolgend: Verwaltungsgericht) bestätigte diesen Entscheid mit Urteil vom 16. Juli 2012.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 14. September 2012 beantragt X._ dem Bundesgericht sinngemäss, das angefochtene Urteil aufzuheben und das Migrationsamt anzuweisen, seine Aufenthaltsbewilligung zu verlängern.
Das Verwaltungsgericht und das Bundesamt für Migration schliessen auf Abweisung der Beschwerde. Das Amt für Migration und das Justiz- und Sicherheitsdepartement haben sich nicht vernehmen lassen.
D. Mit Präsidialverfügung vom 20. September 2012 ist der Beschwerde antragsgemäss aufschiebende Wirkung zuerkannt worden.
Erwägungen:
1. 1.1 Das angefochtene Endurteil des Verwaltungsgerichts des Kantons Luzern in einer Angelegenheit des öffentlichen Rechts unterliegt grundsätzlich der Beschwerde in öffentlich-rechtlichen Angelegenheiten (vgl. Art. 82 lit. a BGG, Art. 86 Abs. 1 lit. d BGG, Art. 90 BGG). Gemäss Art. 83 lit. c Ziff. 2 BGG ist die Beschwerde unzulässig gegen Entscheide auf dem Gebiet des Ausländerrechts betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt. Ein allfälliger Anspruch auf Verlängerung der Aufenthaltsbewilligung kann sich aus Art. 50 Abs. 1 lit. b AuG (nachehelicher Härtefall) ergeben. Da der Beschwerdeführer in der Schweiz eine Tochter mit Niederlassungsbewilligung hat, kann er sich zudem auf Art. 8 Ziff. 1 EMRK berufen. Diese Bestimmung kann auch von dem ausländischen Elternteil angerufen werden, der - wie der Beschwerdeführer - weder über das Sorge- noch das Obhutsrecht gemäss Art. 296 ff. ZGB verfügt (BGE 120 Ib 1 E. 1d S. 3). Vorausgesetzt wird, dass das in der Schweiz lebende Kind über ein gefestigtes originäres Anwesenheitsrecht verfügt (BGE 135 I 143 E. 1.3.1 S. 145 f.), was hier der Fall ist. Ob der Anspruch auf Verlängerung der Aufenthaltsbewilligung im konkreten Fall zu bejahen ist, wird im Rahmen der materiellen Behandlung der Beschwerde zu prüfen sein (BGE 136 II 177 E. 1.1 S. 179). Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist zulässig.
1.2 Die übrigen Sachurteilsvoraussetzungen sind erfüllt, so dass auf die Beschwerde einzutreten ist.
2. Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG).
2.1 Art. 99 Abs. 1 BGG zielt auf Tatsachen ab, die erst durch das angefochtene Urteil rechtserheblich werden. So kann sich die beschwerdeführende Partei vor Bundesgericht auf Tatsachen stützen, die nicht Gegenstand des vorinstanzlichen Verfahrens gebildet hatten, wenn die Vorinstanz ein neues rechtliches Argument anführt, mit dem die Partei zuvor nicht konfrontiert worden war (vgl. Urteil 5A_115/2012 vom 20. April 2012 E. 4.4.2). Unzulässig sind hingegen neue Tatsachen, die bereits der Vorinstanz hätten vorgelegt werden können (BGE 136 III 123 E. 4.4.3 S. 129).
Der Beschwerdeführer reicht einen forensisch-toxikologischen Untersuchungsbefund von Prof. Dr. Q._, Universität A._, vom 21. Mai 2012 ein, welcher negative Ergebnisse in Bezug auf alle getesteten Betäubungsmittel (Amphetamine, Cannabis, Kokain, LSD etc.) enthält. Nachdem die Vorinstanz im angefochtenen Urteil einem medizinischen Verlaufsbericht vom 16. Februar 2012 gefolgt ist, der dem Beschwerdeführer eine "eindeutige Abstinenzmotivation für Kokain, nicht aber für andere Suchtmittel" attestierte, ist der Untersuchungsbefund, mit dem die (momentane) Abstinenz des Beschwerdeführers hinsichtlich mehrerer Drogen, insbesondere auch Cannabis nachgewiesen wird, als unechtes Novum im Verfahren vor dem Bundesgericht zulässig.
2.2 Tatsachen oder Beweismittel, welche sich auf das vorinstanzliche Prozessthema beziehen, sich jedoch erst nach dem angefochtenen Entscheid ereignet haben oder entstanden sind, können von vornherein nicht durch das angefochtene Urteil veranlasst worden sein (vgl. Urteil 2C_833/2011 vom 6. Juni 2012 E. 1.2 mit Hinweis). Diese so genannten "echten Noven" sind im bundesgerichtlichen Verfahren in jedem Fall unzulässig (BGE 133 IV 342 E. 2.1 S. 344).
Die mit der Beschwerde eingereichten Einsatzverträge vom 20. Juli 2012 und 4. September 2012, die vom Beschwerdeführer und seiner Ehefrau gemeinsam unterzeichneten Bestätigungen betreffend Alimentenzahlungen vom 3. August 2012, 24. August 2012 und 8. September 2012 sowie das an den Rechtsvertreter des Beschwerdeführers gerichtete Schreiben der Ehefrau vom 8. September 2012 sind Beweismittel, welche nach dem 16. Juli 2012 (Datum des angefochtenen Urteils) entstanden sind. Sie sind demnach als unzulässige echte Noven im vorliegenden Verfahren unbeachtlich.
3. Die Beschwerde gegen das vorinstanzliche Urteil vom 16. Juli 2012 erweist sich als offensichtlich unbegründet, weshalb sie ohne Weiterungen im vereinfachten Verfahren nach Art. 109 Abs. 2 lit. a BGG bzw. Art. 109 Abs. 3 BGG erledigt werden kann.
3.1 Die Aufenthaltsbewilligung war dem Beschwerdeführer im Rahmen des Familiennachzugs nach Art. 43 Abs. 1 AuG erteilt worden. Die Ehegemeinschaft wurde nach rund eineinhalb Jahren aufgelöst, so dass der Anspruch auf Verlängerung der Aufenthaltsbewilligung gestützt auf die Ehe dahingefallen ist.
Der Beschwerdeführer beruft sich zu Recht nicht auf einen nachehelichen Härtefall nach Art. 50 Abs. 1 lit. b AuG, weshalb darauf nicht weiter einzugehen ist.
3.2 Hat eine ausländische Person nahe Verwandte mit einem gefestigten Anwesenheitsrecht in der Schweiz und wird die familiäre Beziehung tatsächlich gelebt, kann die Verweigerung einer Bewilligung Art. 8 Ziff. 1 EMRK verletzen, indem der ausländischen Person die Anwesenheit in der Schweiz untersagt und damit ihr Familienleben vereitelt wird (BGE 130 II 281 E. 3.1 S. 285 mit Hinweisen). Der Eingriff in dieses Recht ist zulässig, wenn er verhältnismässig im Sinn von Art. 8 Ziff. 2 EMRK ist.
In der vorliegenden Konstellation kann jedoch die familiäre Beziehung zum Kind aus zivilrechtlichen Gründen nur eingeschränkt, durch Ausübung des Besuchsrechts, gelebt werden (Urteile 2C_235/2012 vom 13. März 2013 E. 2.1; 2C_336/2012 vom 3. August 2012 E. 3.2), weshalb der Eingriff in das Familienleben weniger schwer wiegt. Praxisgemäss erscheint die Verlängerung der Aufenthaltsbewilligung des nicht obhutsberechtigten ausländischen Elternteils nur geboten, wenn dieser mit dem Kind eine wirtschaftlich und affektiv besonders enge Beziehung pflegt (BGE 120 Ib 1 E. 3c S. 5), die wegen der Distanz zum Herkunftsland praktisch nicht aufrechterhalten werden könnte (BGE 120 Ib 22 E. 4a S. 24 f.; Urteil des EGMR Rodrigues da Silva und Hoogkamer gegen Niederlande vom 31. Januar 2006 [Nr. 50435/99], § 42). Zudem wird in diesem Zusammenhang - der hauptsächlich im Rahmen des nachehelichen Härtefalls nach Art. 50 Abs. 1 lit. b AuG diskutiert wird - verlangt, dass die ausländische Person bisher zu keinen Klagen Anlass gegeben hat (Urteile 2C_769/2012 vom 22. Oktober 2012 E. 3.4; 2C_272/2008 vom 15. Januar 2009 E. 2.2). Aufgrund der wiederholten und teilweise schweren Straffälligkeit des Beschwerdeführers ist diese Voraussetzung nicht erfüllt, was die Beschwerde wenig aussichtsreich erscheinen lässt.
3.3 Der Beschwerdeführer macht geltend, die Vorinstanz habe das öffentliche Interesse an seiner Fernhaltung zu hoch gewichtet. Demgegenüber habe sie zu wenig berücksichtigt, dass er schon in seiner Jugend aufgrund einer dissozialen Persönlichkeitsstörung und einer Drogensucht Delikte verübt habe. Er habe sich vom Konsum schwerer Drogen distanzieren können und habe eine gute Legalprognose. Zu seiner (im Urteilszeitpunkt sechsjährigen) Tochter habe er eine tragfähige emotionale Beziehung aufbauen können. Die Vorinstanz habe nicht beachtet, dass er bislang im Massnahmevollzug kein Einkommen habe erzielen können. Mit der Aufnahme eines Arbeitsexternats ab dem 3. August 2012 sei auch in wirtschaftlicher Hinsicht eine enge Beziehung zu seiner Tochter entstanden. Auch zur Ehefrau habe er mittlerweile wieder eine enge Beziehung. Die Nichtverlängerung der Aufenthaltsbewilligung sei unverhältnismässig.
3.4 Diesen Ausführungen kann nicht beigepflichtet werden. Das Verschulden des Beschwerdeführers wiegt schwer: Seine fortgesetzte Delinquenz, welche auch durch die am 4. April 2006 ausgesprochene Verwarnung nicht gestoppt wurde, zeugt von einer nicht tolerierbaren Missachtung der schweizerischen Rechtsordnung. Besonders negativ fallen der in qualifizierter Form begangene Verstoss gegen Art. 19 Abs. 1 BetmG sowie die Strafverfügungen vom 7. November 2006 und 1. März 2007 wegen wiederholter Tätlichkeit bzw. Drohung und mehrfacher Tätlichkeit (häusliche Gewalt) ins Gewicht. In Bezug auf die verfahrensauslösende Verurteilung zu 20 Monaten Freiheitsstrafe ist dem Einwand des Beschwerdeführers, die Delinquenz sei auf seine psychische Krankheit zurückzuführen, entgegenzuhalten, dass diesem Umstand im Strafurteil vom 3. Juli 2008 durch die Annahme einer mittelgradig verminderten Schuldfähigkeit Rechnung getragen wurde. Die Vorinstanz hat das ausländerrechtliche Verschulden mit Blick auf das Strafmass und die zahlreichen übrigen Verfehlungen des Beschwerdeführers zu Recht als schwer eingestuft.
Dem starken sicherheitspolizeilichen Interesse an der Fernhaltung des Beschwerdeführers stehen dessen private Interessen am Verbleib in der Schweiz gegenüber. Wie in E. 3.2 erwähnt, ist das Interesse an der Beziehungspflege mit der Tochter durch die bereits erfolgte räumliche Trennung relativiert. Eine wirtschaftliche Abhängigkeit der Tochter im hier relevanten Zeitraum (bis zum 16. Juli 2012) besteht nicht. Für die Wahrung des legitimen Interesses des Beschwerdeführers, den Kontakt zu seiner Tochter aufrecht zu erhalten, ist seine dauernde Anwesenheit in der Schweiz rechtsprechungsgemäss nicht notwendig: Den Anforderungen an Art. 8 Ziff. 1 EMRK ist Genüge getan, wenn das Besuchsrecht im Rahmen von Kurzaufenthalten vom Ausland her ausgeübt werden kann, wobei allenfalls dessen Modalitäten entsprechend auszugestalten sind (vgl. Urteil 2C_235/2012 vom 13. März 2013 E. 2.1).
Was die Legalprognose betrifft, ist zwar anzuerkennen, dass der Beschwerdeführer im Zeitraum vor dem angefochtenen Urteil keine Drogen konsumierte und motiviert war, nach seiner Entlassung aus der Massnahme deliktfrei zu leben. Indessen wird im Verlaufsbericht des Massnahmezentrums B._ vom 16. Februar 2012 darauf hingewiesen, der Beschwerdeführer überschätze tendenziell seine Kontrollfähigkeit und damit das Rückfallrisiko. Zu beachten ist auch, dass eine gute Führung im Straf- bzw. Massnahmenvollzug angesichts der dort vorhandenen, verhältnismässig engmaschigen Betreuung keine verlässlichen Rückschlüsse auf das künftige Verhalten in Freiheit zulässt (Urteil 2C_197/2012 vom 29. Oktober 2012 E. 4.2; vgl. auch BGE 137 II 233 E. 5.2.2 S. 236 f.). Die zahlreichen Rückfälle des Beschwerdeführers in der Vergangenheit lassen eine Rückfallgefahr durchaus als möglich erscheinen: Weder die Verwarnung vom 4. April 2006 noch die Ehe und die Geburt der Tochter haben ihn von der Begehung teils schwerer Straftaten abgehalten. Die Vorinstanz hat ein Rückfallrisiko zu Recht bejaht. Zu erwähnen bleibt, dass der Wahrscheinlichkeit eines künftigen Wohlverhaltens ausserhalb des Anwendungsbereichs des FZA (SR 0.142.112.681) keine zentrale Bedeutung zukommt (Urteile 2C_331/2010 vom 16. September 2010 E. 3.3; 2C_218/2010 vom 27. Juli 2010 E. 3.3.1; vgl. BGE 130 II 176 E. 4.2 S. 185; 125 II 105 E. 2c S. 110) bzw. auch ein geringes Restrisiko, welches hier zweifellos vorhanden ist, nicht in Kauf genommen werden muss (Urteil 2C_348/2012 vom 13. März 2013 E. 3.1).
Schliesslich macht die Tatsache, dass der Beschwerdeführer relativ jung (mit knapp acht Jahren) in die Schweiz gekommen ist, eine Rückkehr nicht unzumutbar. Wenngleich er die Schulen in der Schweiz besucht hat, spricht er doch die Sprache seines Heimatlandes und ist mit dessen Gepflogenheiten vertraut. Beruflich ist er in der Schweiz kaum integriert. Er ist noch jung und wird sich in seinem Herkunftsland eine neue Existenz aufbauen können, zumal er dort noch Verwandte hat und eine Liegenschaft besitzt.
4. Aufgrund der vorstehenden Erwägungen ist die Beschwerde abzuweisen. Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Kosten (Art. 66 Abs. 1 BGG); eine Parteientschädigung ist nicht zuzusprechen (Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 1'500.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Luzern, Verwaltungsrechtliche Abteilung, und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 2. April 2013
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Die Gerichtsschreiberin: Genner