Sachverhalt: A. X._ (geb. 1974), Staatsangehöriger von Gambia, reiste am 28. April 1999 in die Schweiz ein und ersuchte unter falscher Identität erfolglos um Asyl. Nach seiner Wegweisung kam er seiner Ausreiseverpflichtung nicht nach. Am 17. Juli 2000 heiratete er die Schweizer Bürgerin Y._ (geb. 1966) und erhielt am 9. November 2000 die Aufenthaltsbewilligung zum Verbleib bei der Ehefrau. Das Ehepaar hat eine Tochter (geb. im September 2000) und einen Sohn (geb. im Juni 2011). Zwischen Dezember 2000 und Juni 2009 wurden gegen X._ elf Strafverfahren geführt, welche mit Strafbefehlen oder gerichtlichen Verurteilungen endeten. Die Taten betrafen in den meisten Fällen Widerhandlungen gegen das Betäubungsmittelgesetz (BetmG; SR 812.121), vereinzelt Verstösse gegen fremdenpolizeiliche Vorschriften sowie in einem Fall Hehlerei. X._ wurde mit Freiheitsstrafen von insgesamt 29 Monaten und 15 Tagen sowie einer Geldstrafe von 20 Tagessätzen zu Fr. 70.-- bestraft, wobei die höchste Strafe - ausgesprochen am 9. Juni 2009 vom Bezirksgericht Zürich - 6 Monate Freiheitsstrafe betrug. Als Folge seiner Straffälligkeit wurde X._ insgesamt fünf Mal fremdenpolizeilich verwarnt. Zwischen 2005 und 2007 wurde er zudem im Umfang von Fr. 24'667.90 von der Sozialhilfe unterstützt. B. Ein Gesuch von X._ um Erteilung der Niederlassungsbewilligung wies das Migrationsamt des Kantons Zürich (nachfolgend: Migrationsamt) am 25. August 2008 ab. Diese Verfügung erwuchs unangefochten in Rechtskraft. Nach Gewährung des rechtlichen Gehörs gegenüber X._ und Y._ betreffend Entfernungsmassnahmen wies das Migrationsamt das Gesuch von X._ um Verlängerung der Aufenthaltsbewilligung am 11. November 2009 ab. Den dagegen erhobenen Rekurs wies der Regierungsrat des Kantons Zürich (nachfolgend: Regierungsrat) am 9. März 2011 ab. Das Verwaltungsgericht des Kantons Zürich bestätigte diesen Entscheid auf Beschwerde hin mit Urteil vom 21. September 2011. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 16. November 2011 beantragt X._, der angefochtene Entscheid sei aufzuheben und das Migrationsamt sei anzuweisen, das Gesuch um Verlängerung der Aufenthaltsbewilligung gutzuheissen. Eventualiter sei der angefochtene Entscheid aufzuheben und die Wegweisung anzudrohen; subeventualiter sei der Entscheid aufzuheben und eine humanitäre Aufnahme anzuordnen. Das Migrationsamt und der Regierungsrat lassen sich nicht vernehmen. Das Bundesamt für Migration schliesst auf Abweisung der Beschwerde. Das Verwaltungsgericht des Kantons Zürich beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei. D. Am 25. November 2011 hat der Präsident der II. öffentlich-rechtlichen Abteilung der Beschwerde antragsgemäss die aufschiebende Wirkung erteilt.