Sachverhalt:
A. Der 1972 geborene X._, Staatsangehöriger der Republik Kamerun, reiste am 9. Juli 2003 in die Schweiz ein. Das gleichentags unter Angabe falscher Personalien gestellte Asylgesuch wurde am 17. Juli 2003 abgewiesen und die Wegweisung verfügt. Am 20. Oktober 2003 wurde X._ aus der Ausschaffungshaft entlassen und aufgefordert, die Schweiz bis zum 22. Oktober 2003 zu verlassen. Er kam dieser Aufforderung nicht nach, sondern hielt sich in der Folge widerrechtlich in der Schweiz auf. Am 12. Oktober 2005 verhängte deshalb die Staatsanwaltschaft Zürich-Limmat eine Freiheitsstrafe von 60 Tagen Gefängnis, bedingt vollziehbar mit einer Probezeit von 2 Jahren.
Am 21. Juni 2005 heiratete X._ die Schweizer Bürgerin Y._, geboren 1965. Die am 11. Juli 2005 erteilte Aufenthaltsbewilligung zum Verbleib bei der Ehefrau wurde letztmals bis zum 20. Juni 2009 verlängert.
Am 16. November 2009 wurde X._ vom Bezirksgericht Zürich des mehrfachen Verbrechens gegen das Betäubungsmittelgesetz vom 3. Oktober 1951 (BetmG; SR 812.121) schuldig gesprochen und zu einer Freiheitsstrafe von 36 Monaten verurteilt. Die Strafe wurde im Umfang von 18 Monaten mit einer Probezeit von 4 Jahren aufgeschoben.
B. Mit Verfügung vom 15. Juli 2010 wies das Migrationsamt des Kantons Zürich X._s Gesuch um Verlängerung der Aufenthaltsbewilligung ab und ordnete an, er habe die Schweiz bis zum 15. Oktober 2010 zu verlassen.
Den dagegen erhobenen Rekurs wies die Sicherheitsdirektion des Kantons Zürich am 18. April 2011 ab. Das Verwaltungsgericht des Kantons Zürich bestätigte diesen Entscheid mit Urteil vom 21. September 2011.
C. X._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Anträgen, das Urteil des Verwaltungsgerichts des Kantons Zürich vom 21. September 2011 sei aufzuheben und das Migrationsamt des Kantons Zürich sei anzuweisen, ihm die Aufenthaltsbewilligung zu verlängern bzw. die Niederlassungsbewilligung zu erteilen.
Den Antrag auf Sistierung des Verfahrens wies der Präsident der II. öffentlich-rechtlichen Abteilung mit Verfügung vom 28. November 2011 ab. Am 10. Januar 2012 erteilte er der Beschwerde auf nachträglich eingereichtes Gesuch hin die aufschiebende Wirkung.
Es wurde kein Schriftenwechsel durchgeführt.
Erwägungen:
1. 1.1 Angefochten ist ein letztinstanzlicher kantonaler Entscheid auf dem Gebiet des Ausländerrechts. Gemäss Art. 83 lit. c Ziff. 2 BGG ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten unzulässig gegen Entscheide betreffend ausländerrechtliche Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt. In der vorliegenden Konstellation ergibt sich ein solcher Anspruch grundsätzlich aus Art. 42 Abs. 1 AuG (SR 142.20), da der Beschwerdeführer mit einer Schweizer Bürgerin verheiratet ist. Ob der Anspruch im konkreten Fall zu bejahen ist, betrifft nicht die Eintretensfrage, sondern die materielle Behandlung der Beschwerde (BGE 136 II 177 E. 1.1 S. 179). Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist somit grundsätzlich zulässig.
1.2 Als Adressat des angefochtenen Entscheids ist der Beschwerdeführer gemäss Art. 89 Abs. 1 BGG zur Erhebung der Beschwerde legitimiert.
1.3 Auf die im Übrigen frist- und formgerecht eingereichte Beschwerde ist einzutreten.
2. Die Aufenthaltsbewilligung war dem Beschwerdeführer im Rahmen des Familiennachzugs nach Art. 42 AuG erteilt worden. Gemäss Art. 51 Abs. 1 lit. b AuG erlöschen die Ansprüche aus Familiennachzug, wenn Widerrufsgründe nach Art. 63 AuG vorliegen; Art. 63 Abs. 1 lit. a AuG verweist auf Art. 62 lit. a und b AuG. Gemäss Art. 62 lit. b AuG kann die zuständige Behörde eine Aufenthaltsbewilligung widerrufen, wenn die ausländische Person zu einer längerfristigen Freiheitsstrafe verurteilt oder gegen sie eine strafrechtliche Massnahme angeordnet wurde. Nach der bundesgerichtlichen Rechtsprechung fällt unter den Begriff der längerfristigen Freiheitsstrafe jede Freiheitsstrafe von mehr als einem Jahr (BGE 135 II 377 E 4.2), wobei die Strafe sich zwingend auf ein einziges Strafurteil stützen muss (BGE 137 II 297 E. 2). Nachdem der Beschwerdeführer rechtskräftig zu einer Freiheitsstrafe von 3 Jahren verurteilt wurde, ist der Widerrufsgrund im Sinn von Art. 62 lit. b AuG erfüllt.
Bei gegebenen Voraussetzungen rechtfertigt sich der Widerruf bzw. die Verweigerung der Bewilligung nur, wenn die jeweils im Einzelfall vorzunehmende Interessenabwägung die entsprechende Massnahme als verhältnismässig erscheinen lässt, wobei namentlich die Schwere des Verschuldens, die Dauer der Anwesenheit sowie die dem Betroffenen und seiner Familie drohenden Nachteile zu berücksichtigen sind (vgl. Art. 96 Abs. 1 AuG; Urteil 2C_679/2011 vom 21. Februar 2012 E. 3.1).
3. Der Beschwerdeführer war im Zeitpunkt der angefochtenen Verfügung des Migrationsamtes seit 5 Jahren mit einer Schweizer Bürgerin verheiratet und führte mit ihr nach den verbindlichen Feststellungen der Vorinstanzen eine intakte Ehe in der Schweiz. Die Nichtverlängerung seiner Aufenthaltsbewilligung tangiert somit das in Art. 8 Ziff. 1 EMRK und Art. 13 Abs. 1 BV garantierte Recht auf Achtung des Familienlebens. Der Beschwerdeführer macht zudem geltend, der kombinierte Schutzbereich des Privat- und Familienlebens im Sinn von Art. 8 Ziff. 1 EMRK sei auch betroffen durch eine allfällige Trennung vom Enkel seiner Ehefrau, welcher jeweils 5 Tage pro Woche bei dem Ehepaar lebe und mit dem ihn eine enge Beziehung verbinde.
3.1 Der Anspruch auf Achtung des Familienlebens im Sinn von Art. 8 Ziff. 1 EMRK gilt nicht absolut. Gemäss Art. 8 Ziff. 2 EMRK ist ein Eingriff in das durch Ziff. 1 geschützte Rechtsgut statthaft, soweit er gesetzlich vorgesehen und in einer demokratischen Gesellschaft für die nationale oder öffentliche Sicherheit, für das wirtschaftliche Wohl des Landes, zur Aufrechterhaltung der Ordnung, zur Verhütung von Straftaten, zum Schutz der Gesundheit oder der Moral oder zum Schutz der Rechte und Freiheiten anderer notwendig ist. Die Konvention verlangt eine Abwägung der sich gegenüberstehenden Interessen an der Erteilung der Bewilligung und der öffentlichen Interessen an deren Verweigerung, wobei Letztere in dem Sinn überwiegen müssen, dass sich der Eingriff als notwendig erweist. Analoge Voraussetzungen ergeben sich aus Art. 36 BV im Hinblick auf einen Eingriff in Art. 13 BV (BGE 135 I 143 E. 2.1 S. 147).
3.2 Die Vorinstanz erwägt im angefochtenen Urteil, das Verschulden des Beschwerdeführers sei im Strafurteil als erheblich eingestuft worden, nachdem er innert rund sechs Wochen mit vier Transporten von insgesamt über drei Kilogramm Kokain mittels Fingerlingen in seinem Magen-Darm-Trakt von Holland in die Schweiz eingeführt habe. Bei solchen schwerwiegenden Drogendelikten gelte angesichts der vom Täter ausgehenden Gefahr für die Gesellschaft eine strenge Praxis. An einer Wegweisung aus der Schweiz bestehe daher ein gewichtiges öffentliches Interesse.
Demgegenüber macht der Beschwerdeführer geltend, die Nichtverlängerung der Aufenthaltsbewilligung sei unverhältnismässig. Er sei in der Schweiz gut integriert und spreche sehr gut deutsch. Nach der Entlassung aus dem Strafvollzug habe ihn sein früherer Arbeitgeber wieder eingestellt und sei sehr zufrieden mit ihm. In diesen eineinhalb Jahren sei er nie mehr straffällig geworden, und die Rückfallgefahr sei äusserst gering. Die Vorinstanz habe das Verschulden des Beschwerdeführers bei der Würdigung der Straftat zu hoch eingestuft, denn bei einer Widerhandlung gegen das BetmG seien - im Gegensatz zu Gewalt- oder Sexualdelikten - hochrangige Rechtsgüter wie Leib und Leben oder die sexuelle Integrität nicht verletzt. Der Beschwerdeführer sei die einzige Vaterfigur im Leben seines Stiefenkels; dessen Wohl sei in die Güterabwägung einzubeziehen. Er habe eine intensive Beziehung zu seiner Frau, die ihn im Gefängnis wöchentlich besucht habe. Es sei seiner Frau nicht zuzumuten, nach Kamerun zu übersiedeln, was auch die Vorinstanz festgehalten habe. Die "Reneja"-Praxis sei vorliegend nicht anwendbar, da der Beschwerdeführer nicht "erstmalig oder nach bloss kurzer Aufenthaltsdauer" um die Erneuerung seiner Bewilligung ersucht habe, sondern sich seit 8 1/2 Jahren in der Schweiz aufhalte.
3.3 Bei der Interessenabwägung von Art. 8 Ziff. 2 EMRK sind die Schwere des begangenen Delikts, der seit der Tat vergangene Zeitraum, das Verhalten der ausländischen Person während dieser Periode, die Auswirkungen auf die betroffene Person sowie deren familiäre Situation zu berücksichtigen. Zudem sind die Dauer einer allfälligen ehelichen Beziehung und weitere Gesichtspunkte relevant, welche Rückschlüsse auf deren Intensität zulassen (Geburt und Alter allfälliger Kinder; Kenntnis der Tatsache, dass die Beziehung wegen der Straftat unter Umständen nicht in der Schweiz gelebt werden kann). Von Bedeutung sind auch die Nachteile, welche dem Ehepartner oder den Kindern erwachsen würden, müssten sie dem Betroffenen in dessen Heimatstaat folgen (Urteil 2C_711/2011 vom 27. März 2012 E. 4.2). Das Bundesgericht geht bei einem mit einer Schweizer Bürgerin verheirateten Ausländer, der erstmals oder nach bloss kurzer Aufenthaltsdauer um die Erneuerung seiner Bewilligung ersucht, in ständiger Rechtsprechung davon aus, dass der ausländischen Person im Fall einer Verurteilung zu einer Freiheitsstrafe von zwei Jahren in der Regel selbst dann kein Aufenthaltstitel mehr zu erteilen ist, wenn der schweizerischen Ehepartnerin die Ausreise nicht oder nur schwer zuzumuten ist. In einer solchen Konstellation sind aussergewöhnliche Umstände vonnöten, um die Erteilung einer Aufenthaltsbewilligung dennoch zu rechtfertigen ("Reneja"-Praxis, vgl. BGE 135 II 377 E. 4.4 S. 382; 130 II 76 E. 4.1; 120 Ib 6 E. 4b S. 14; 110 Ib 201).
3.3.1 Der Beschwerdeführer wurde wegen Widerhandlungen gegen das Betäubungsmittelgesetz zu einer Freiheitsstrafe von 3 Jahren verurteilt. Mit der Begehung des Drogendelikts hat er in Kauf genommen, dass er die Aufenthaltsbewilligung verlieren könnte und dementsprechend die Schweiz verlassen müsste. Die Ehe mit seiner Frau, welche im Zeitpunkt der Deliktsbegehung ungefähr 3 Jahre gedauert hatte, vermochte ihn nicht davon abzuhalten, mehrmals grosse Mengen Kokain in die Schweiz einzuführen. Das Bundesgericht verfolgt im Zusammenhang mit derartigen Straftaten - in Übereinstimmung mit der in Europa herrschenden Rechtsüberzeugung (vgl. BGE 129 II 215 E. 7 S. 221) - ausländerrechtlich eine strenge Praxis (Urteil 2C_515/2009 vom 27. Januar 2010 E. 3.1). Zudem dürfen bei ausländischen Personen, welche sich nicht auf das FZA (SR 0.142.112.681) berufen können, im Rahmen der Interessenabwägung abgesehen von der aktuellen Gefährdung der öffentlichen Ordnung und Sicherheit, die von der betroffenen Einzelperson ausgeht, auch generalpräventiven Gesichtspunkten Rechnung getragen werden (Urteil 2C_679/2011 vom 21. Februar 2012 E. 3. 1). Die positiven Aspekte, namentlich die guten Deutschkenntnisse des Beschwerdeführers und seine Reintegration in den Arbeitsmarkt, vermögen die Schwere der Straftat nicht aufzuwiegen.
3.3.2 Der Beschwerdeführer war im Zeitpunkt der angefochtenen Verfügung 5 Jahre verheiratet; das Paar hat keine gemeinsamen Kinder. Nach der Rechtsprechung schützt Art. 8 EMRK im Zusammenhang mit der Bewilligung des Aufenthalts in erster Linie die Kernfamilie, d.h. die Gemeinschaft der Ehegatten mit ihren minderjährigen Kindern (BGE 135 I 143 E. 1.3.2 S. 146). Im vorliegenden Fall wäre es der Ehefrau des Beschwerdeführers u.a. wegen ihrer familiären Verpflichtungen - sie unterstützt ihre pflegebedürftige Mutter sowie ihre erwachsene Tochter und kümmert sich um deren Sohn - nicht zuzumuten, ihrem Mann nach Kamerun zu folgen. Die Nichtverlängerung der Aufenthaltsbewilligung führt somit dazu, dass die Ehegemeinschaft nur noch besuchsweise oder über Medien gelebt werden kann. Dies ist vorliegend zumutbar, zumal die Ehefrau des Beschwerdeführers beruflich gut verankert und ökonomisch nicht auf die Anwesenheit des Beschwerdeführers angewiesen ist. Ausserordentliche Umstände, welche die Verlängerung der Aufenthaltsbewilligung aus Sicht der Eheleute unabdingbar erscheinen liessen, liegen nicht vor. Das öffentliche Interesse an der Ausreise des Beschwerdeführers ist daher höher zu gewichten als das private Interesse des Ehepaars am Verbleib des Beschwerdeführers in der Schweiz.
3.3.3 Neben der eigentlichen Kernfamilie werden auch weitere familiäre Verhältnisse erfasst, sofern eine genügend nahe, echte und tatsächlich gelebte Beziehung besteht. Hinweise für solche Beziehungen sind das Zusammenleben in einem gemeinsamen Haushalt, eine finanzielle Abhängigkeit, speziell enge familiäre Bande, regelmässige Kontakte oder die Übernahme von Verantwortung für eine andere Person. Bei hinreichender Intensität sind auch Beziehungen zwischen nahen Verwandten wie Geschwistern oder Tanten und Nichten wesentlich (BGE 135 I 143 E. 3.1 S. 148).
Im vorinstanzlichen Verfahren hatte der Beschwerdeführer angegeben, er habe zusammen mit seiner Ehefrau deren Enkel betreut, was für sich allein genommen keine besondere Nähe im Sinn der zitierten Rechtsprechung begründet. Auch vor Bundesgericht tut der Beschwerdeführer nicht dar, inwiefern er tatsächlich Verantwortung für seinen Stiefenkel übernimmt und seine Anwesenheit für das Kind unabdingbar ist. Familiäre Beziehungen, wie sie zwischen Grosseltern und Enkeln üblich sind, können auch vom Ausland aus gelebt werden; eines Anwesenheitsrechts bedarf es dazu nicht (Urteil 2C_430/2012 vom 21. Mai 2012 E. 3.2.2). Aus diesem Grund ist auch die Rüge des Beschwerdeführers unbehelflich, das angefochtene Urteil verletze das Übereinkommen vom 20. November 1989 über die Rechte des Kindes (SR 0.107).
3.3.4 Schliesslich kann der Beschwerdeführer nichts für sich aus der Tatsache ableiten, dass er in den 18 Monaten nach seiner Entlassung aus dem Strafvollzug straffrei geblieben ist, befand er sich doch in diesem Zeitraum noch in der Bewährungszeit. Angesichts der Höhe des Strafmasses kann letztlich offen bleiben, ob mit Blick auf seine 5-jährige (legale) Anwesenheit in der Schweiz im Zeitpunkt der abweisenden Verfügung des Migrationsamtes noch auf die "Reneja"-Praxis abgestellt werden konnte. In Anbetracht der Schwere der Tat erweist sich die Nichtverlängerung der Aufenthaltsbewilligung ohnehin als verhältnismässig im Sinn von Art. 8 Ziff. 2 EMRK bzw. Art. 5 Abs. 2 BV.
3.4 Ergänzend ist darauf hinzuweisen, dass eine strafrechtliche Verurteilung die Erteilung einer neuen Aufenthaltsbewilligung nicht zwingend ein für allemal verunmöglicht. Soweit die ausländische Person, gegen die Entfernungsmassnahmen ergriffen wurden, nach wie vor einen Rechtsanspruch auf Erteilung einer Aufenthaltsbewilligung besitzt und es ihren hier anwesenden nahen Angehörigen nicht zumutbar ist, ihr ins Heimatland zu folgen und dort das Familienleben zu pflegen, kann eine Neubeurteilung angezeigt sein, wenn sich die betroffene Person seit der Verurteilung bzw. Strafverbüssung bewährt und über eine angemessene Dauer in ihrer Heimat klaglos verhalten hat, so dass eine Integration in die hiesigen Verhältnisse absehbar und eine allfällige Rückfallgefahr vernachlässigbar erscheint (Urteil 2C_36/2009 vom 20. Oktober 2009 E. 3.2 mit Hinweis auf BGE 130 II 493 E. 5 S. 504).
4. Zusammenfassend ist festzuhalten, dass die Beschwerde offensichtlich unbegründet ist. Sie ist im Verfahren nach Art. 109 Abs. 2 lit. a BGG abzuweisen.
5. Bei diesem Ausgang sind die Kosten des bundesgerichtlichen Verfahrens dem Beschwerdeführer zu auferlegen (Art. 66 Abs. 1 BGG). Es ist keine Parteientschädigung zuzusprechen (Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 2. Kammer, und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 11. Juni 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Die Gerichtsschreiberin: Genner