Sachverhalt: A. Der 1972 geborene X._, Staatsangehöriger der Republik Kamerun, reiste am 9. Juli 2003 in die Schweiz ein. Das gleichentags unter Angabe falscher Personalien gestellte Asylgesuch wurde am 17. Juli 2003 abgewiesen und die Wegweisung verfügt. Am 20. Oktober 2003 wurde X._ aus der Ausschaffungshaft entlassen und aufgefordert, die Schweiz bis zum 22. Oktober 2003 zu verlassen. Er kam dieser Aufforderung nicht nach, sondern hielt sich in der Folge widerrechtlich in der Schweiz auf. Am 12. Oktober 2005 verhängte deshalb die Staatsanwaltschaft Zürich-Limmat eine Freiheitsstrafe von 60 Tagen Gefängnis, bedingt vollziehbar mit einer Probezeit von 2 Jahren. Am 21. Juni 2005 heiratete X._ die Schweizer Bürgerin Y._, geboren 1965. Die am 11. Juli 2005 erteilte Aufenthaltsbewilligung zum Verbleib bei der Ehefrau wurde letztmals bis zum 20. Juni 2009 verlängert. Am 16. November 2009 wurde X._ vom Bezirksgericht Zürich des mehrfachen Verbrechens gegen das Betäubungsmittelgesetz vom 3. Oktober 1951 (BetmG; SR 812.121) schuldig gesprochen und zu einer Freiheitsstrafe von 36 Monaten verurteilt. Die Strafe wurde im Umfang von 18 Monaten mit einer Probezeit von 4 Jahren aufgeschoben. B. Mit Verfügung vom 15. Juli 2010 wies das Migrationsamt des Kantons Zürich X._s Gesuch um Verlängerung der Aufenthaltsbewilligung ab und ordnete an, er habe die Schweiz bis zum 15. Oktober 2010 zu verlassen. Den dagegen erhobenen Rekurs wies die Sicherheitsdirektion des Kantons Zürich am 18. April 2011 ab. Das Verwaltungsgericht des Kantons Zürich bestätigte diesen Entscheid mit Urteil vom 21. September 2011. C. X._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Anträgen, das Urteil des Verwaltungsgerichts des Kantons Zürich vom 21. September 2011 sei aufzuheben und das Migrationsamt des Kantons Zürich sei anzuweisen, ihm die Aufenthaltsbewilligung zu verlängern bzw. die Niederlassungsbewilligung zu erteilen. Den Antrag auf Sistierung des Verfahrens wies der Präsident der II. öffentlich-rechtlichen Abteilung mit Verfügung vom 28. November 2011 ab. Am 10. Januar 2012 erteilte er der Beschwerde auf nachträglich eingereichtes Gesuch hin die aufschiebende Wirkung. Es wurde kein Schriftenwechsel durchgeführt.