Erwägungen:
1. 1.1 Der togolesische Staatsangehörige X._ (geb. 6. Juni 1970) reiste am 17. März 2005 in die Schweiz ein und ersuchte um Asyl. Am 6. Juni 2007 heiratete er eine Schweizer Bürgerin (geb. 11. April 1950). Gestützt auf die Heirat wurde ihm eine Aufenthaltsbewilligung erteilt. Das asylrechtliche Beschwerdeverfahren schrieb das Bundesverwaltungsgericht am 2. November 2007 zufolge Rückzugs der Beschwerde als gegenstandslos ab.
Am 14. Oktober 2007 kehrte X._ nach einem vierwöchigen Aufenthalt in seinem Heimatland in die Schweiz zurück und wurde gleichentags in Yverdon-les-Bains verhaftet. Mit Urteil vom 23. Juli 2009 sprach ihn das Tribunal correctionnel de La Broye et du Nord Vaudois der Widerhandlung gegen das Betäubungsmittelgesetz vom 3. Oktober 1951 im schweren Fall (Transport von 5767,8 Gramm reinem Kokain von Lomé in die Schweiz) für schuldig und verurteilte ihn zu einer teilbedingten Freiheitsstrafe von zwei Jahren (9 Monate unbedingt, 15 Monate bedingt, Probezeit von zwei Jahren). Vom 3. Mai 2009 bis 25. November 2009 befand er sich im Strafvollzug.
1.2 Mit Verfügung vom 9. März 2010 verweigerte das Migrationsamt des Kantons Zürich die Verlängerung der Aufenthaltsbewilligung von X._ und wies ihn aus der Schweiz weg. Die im Kanton dagegen ergriffenen Rechtsmittel blieben ohne Erfolg.
1.3 Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 10. Oktober 2011 beantragt X._, das Urteil des Verwaltungsgerichts des Kantons Zürich vom 24. August 2011 aufzuheben, das Migrationsamt anzuweisen, das Gesuch um Verlängerung der Aufenthaltsbewilligung gutzuheissen, eventualiter die Sache zwecks zusätzlicher Sachverhaltsabklärungen und neuem Entscheid an die Vorinstanz zurückzuweisen. Zudem stellt er das Begehren, ihm sei eine Parteientschädigung zuzusprechen und die Vorinstanz anzuweisen, ihn für die vorinstanzlichen Verfahren zu entschädigen. Das Verwaltungsgericht des Kantons Zürich beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten ist. Die Sicherheitsdirektion und der Regierungsrat des Kantons Zürich liessen sich nicht vernehmen. Das Bundesamt für Migration schliesst auf Abweisung der Beschwerde.
Mit Verfügung vom 12. Oktober 2011 hat der Präsident der II. öffentlich-rechtlichen Abteilung der Beschwerde antragsgemäss hinsichtlich der Ausreiseverpflichtung aufschiebende Wirkung zuerkannt.
2. Der Beschwerdeführer, der mit einer Schweizerin verheiratet ist, macht einen Anspruch auf Verlängerung der Aufenthaltsbewilligung gestützt auf Art. 42 Abs. 1 des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (Ausländergesetz, AuG; SR 142.20) geltend. Aufgrund seiner tatsächlich gelebten Beziehung zu seiner Ehegattin kann er sich zudem auch auf Art. 8 EMRK berufen. Seine Beschwerde in öffentlich-rechtlichen Angelegenheiten ist damit zulässig (<ref-law> e contrario) und es ist darauf einzutreten.
3. 3.1 Die Ansprüche nach Art. 42 AuG erlöschen unter anderem dann, wenn Widerrufsgründe nach Art. 63 AuG vorliegen (Art. 51 Abs. 1 lit. b AuG). Dies ist namentlich der Fall, wenn eine ausländische Person zu einer längerfristigen Freiheitsstrafe verurteilt wurde (Art. 63 Abs. 1 lit. a i.V.m. Art. 62 lit. b AuG). Als "längerfristig" gilt jede Freiheitsstrafe, deren Dauer ein Jahr überschreitet (<ref-ruling> E. 4.2 und E. 4.5 S. 379 ff.) und zwar unabhängig davon, ob die Strafe bedingt, teilbedingt oder unbedingt zu vollziehen ist (Urteil 2C_515/2009 vom 27. Januar 2010 E. 2.1).
3.2 Der Beschwerdeführer wurde zu einer teilbedingten Freiheitsstrafe von zwei Jahren und damit zu einer längerfristigen Freiheitsstrafe im Sinne von Art. 63 Abs. 1 lit. a i.V.m. Art. 62 lit. b AuG) verurteilt. Der Beschwerdeführer hat somit mit seinem Verhalten einen Widerrufsgrund gesetzt.
3.3 Die Verweigerung der Aufenthaltsbewilligung gestützt auf Art. 42 AuG in Verbindung mit Art. 63 Abs. 1 lit. b AuG (vgl. Art. 51 Abs. 1 lit. b AuG) rechtfertigt sich jedoch nur, wenn sich die entsprechende Massnahme aufgrund der im Einzelfall vorzunehmenden Interessenabwägung als verhältnismässig erweist (vgl. Art. 96 Abs. 1 AuG). Dabei sind namentlich die Schwere des Verschuldens, der Grad der Integration bzw. die Dauer der bisherigen Anwesenheit sowie die dem Betroffenen und seiner Familie drohenden Nachteile zu berücksichtigen (<ref-ruling> E. 4.3 S. 381). Analoge Kriterien ergeben sich aus Art. 8 Ziff. 2 EMRK bzw. <ref-law> in Verbindung mit <ref-law> (vgl. <ref-ruling> E. 2 S. 154 ff.; 143 E. 1.3.2 und E. 2 S. 146 ff; je mit Hinweisen).
4. 4.1 Der Beschwerdeführer wirft der Vorinstanz vor, das rechtliche Gehör verletzt zu haben, indem sie sein Vorbringen, er sei im Fall einer Rückkehr in sein Heimatland aufgrund seiner Zusammenarbeit mit der schweizerischen Polizei konkret gefährdet, nicht auseinandergesetzt und das Schreiben des waadtländischen Polizeiinspektors vom 15. Februar 2011 nicht einmal erwähnt habe. Das Recht, angehört zu werden, ist formeller Natur. Dessen Verletzung führt ungeachtet der materiellen Begründetheit des Rechtsmittels zur Gutheissung der Beschwerde und zur Aufhebung des angefochtenen Entscheides (<ref-ruling> E. 2.2 S. 197). Diese Rüge ist deshalb vorweg zu behandeln.
4.2 Das rechtliche Gehör nach <ref-law> verlangt, dass die Behörde die Vorbringen des vom Entscheid in seiner Rechtsstellung Betroffenen auch tatsächlich hört, prüft und in der Entscheidfindung berücksichtigt. Daraus folgt die Verpflichtung der Behörde, ihren Entscheid zu begründen (vgl. <ref-ruling> E. 5.2 S. 236 mit Hinweisen). In diesem Sinne müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde hat leiten lassen und auf die sich ihr Entscheid stützt.
4.3 Bereits bei der Befragung im Rahmen des rechtlichen Gehörs vor Erlass der Verfügung des Migrationsamtes führte der Beschwerdeführer aus, es sei ihm wegen der "Drogengeschichte" nicht möglich, in sein Heimatland zurückzukehren. In seiner Beschwerde an den Regierungsrat legte er erneut dar, wegen seiner Zusammenarbeit mit der schweizerischen Polizei gelte er in Togo als Verräter, weshalb er dort ernsthafte Nachteile zu befürchten habe, was vom zuständigen waadtländischen Polizeiinspektor bestätigt werden könne. Der Regierungsrat erwog, für diese Behauptung fänden sich in den Akten, namentlich im Protokoll der polizeilichen Einvernahme vom 5. April 2009 sowie im Strafurteil keine Anhaltspunkte, und schloss, der Beschwerdeführer habe keine konkrete Gefährdung geltend gemacht. Mit seiner Beschwerde an die Vorinstanz reichte der Beschwerdeführer sodann ein Schreiben des waadtländischen Polizeiinspektors, A._, vom 15. Februar 2011 ein, der in der strafrechtlichen Angelegenheit betreffend den Beschwerdeführer ermittelt hatte und zwar auch in Togo. Unter anderem bestätigt A._ damit, es sei zu befürchten, dass eine Rückkehr des Beschwerdeführers in sein Heimatland eine ernsthafte Gefahr für Leib und Leben darstellen würde. Mehrere togolesische und nigerianische Führer dieser Drogenorganisation, die von der Zusammenarbeit des Beschwerdeführers mit der schweizerischen Polizei (sie führte zur Festnahme des für die Schweiz verantwortlichen Mitgliedes und dessen Verurteilung zu 10 Jahren Zuchthaus) Kenntnis haben, seien nämlich in Togo immer noch im Drogengeschäft tätig. Zusätzlich beantragte der Beschwerdeführer, A._ als Zeuge zu befragen und bei der zuständigen Schweizer Vertretung einen Abklärungsbericht einzuholen.
Die Vorinstanz hat das neue Beweismittel mit keinem Wort erwähnt und sich auch zu den Beweisanträgen nicht geäussert. Sie erachtete die Ausreise des Beschwerdeführers als ohne Weiteres zumutbar und verwies betreffend die geltend gemachte Gefährdung auf die Erwägungen des Regierungsrates. Dieser konnte sich jedoch zum Schreiben des Polizeibeamten nicht äussern, da ihm dieses Beweismittel gar nicht vorlag, denn es wurde - wie erwähnt - erst im nachfolgenden Rechtsmittelverfahren eingereicht. Im Übrigen ist das Argument des Regierungsrates, die Mehrheit der am damaligen Drogenhandel beteiligten Personen, so auch der Halbbruder des Beschwerdeführers, befänden sich in der Schweiz und offenbar sei der Beschwerdeführer bisher nicht behelligt worden, ohnehin nicht stichhaltig. Der Beschwerdeführer hat nie eine ihm drohende Gefährdung durch Personen in der Schweiz behauptet, sondern es ging immer um eine von der Drogenorganisation ausgehende Gefährdung im Heimatland. Indem sich die Vorinstanz weder zum neuen Beweismittel noch zu den Beweisanträgen geäussert und die im Fall einer Rückkehr befürchtete Gefährdung nicht geprüft hat, hat sie das rechtliche Gehör des Beschwerdeführers verletzt. Dies führt zur Gutheissung der Beschwerde, ohne dass die übrigen vom Beschwerdeführer erhobenen Rügen noch zu prüfen wären.
5. Die Beschwerde erweist sich damit als offensichtlich begründet und ist im vereinfachten Verfahren nach <ref-law> gutzuheissen. Der angefochtenen Entscheid ist aufzuheben und die Sache in Anwendung von <ref-law> an die Vorinstanz zurückzuweisen, damit sie die vom Beschwerdeführer geltend gemachte Gefährdung im Heimatland umfassend abklärt und danach neu entscheidet.
Dem Verfahrensausgang entsprechend sind keine Kosten zu auferlegen (vgl. Art. 66 Abs. 1 und 4 BGG). Der Kanton Zürich hat den Beschwerdeführer für das bundesgerichtliche Verfahren angemessen zu entschädigen (vgl. <ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen und das Urteil des Verwaltungsgerichts des Kantons Zürich vom 24. August 2011 aufgehoben. Die Sache wird zu neuer Entscheidung im Sinne der Erwägungen an das Verwaltungsgericht zurückgewiesen.
2. Es werden keine Kosten erhoben.
3. Der Kanton Zürich hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
4. Dieses Urteil wird dem Beschwerdeführer, der Sicherheitsdirektion des Kantons Zürich, dem Regierungsrat des Kantons Zürich, dem Verwaltungsgericht des Kantons Zürich, 2. Kammer, und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 9. Juli 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Die Gerichtsschreiberin: Dubs