Sachverhalt:
A. Der am 15. September 1968 geborene X._ stammt aus Togo. Dort hat er einen Sohn, geboren am 22. August 1997, und eine Tochter, geboren am 31. Oktober 2003. Am 20. November 2002 heiratete X._ in seiner Heimat die 1947 geborene Schweizer Bürgerin Y._. Nach seiner Einreise in die Schweiz am 23. Juli 2003 erhielt er eine Aufenthaltsbewilligung zum Verbleib bei der Ehefrau, letztmals verlängert bis zum 22. Juli 2009. Im Sommer 2006 verliess X._ die eheliche Wohnung in Winterthur. Die Ehe wurde am 16. Juni 2009 geschieden.
B. Am 19. August 2010 wies das Migrationsamt des Kantons Zürich (nachfolgend: Migrationsamt) X._s Gesuch um Verlängerung der Aufenthaltsbewilligung bzw. Erteilung der Niederlassungsbewilligung ab. Den dagegen erhobenen Rekurs wies die Sicherheitsdirektion des Kantons Zürich (nachfolgend: Sicherheitsdirektion) am 26. Juli 2011 ab. Das Verwaltungsgericht des Kantons Zürich bestätigte diesen Entscheid auf Beschwerde hin mit Urteil vom 23. November 2011.
C. X._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und Verfassungsbeschwerde mit den Anträgen, das Urteil des Verwaltungsgerichts des Kantons Zürich vom 23. November 2011 sei aufzuheben und ihm sei die Niederlassungsbewilligung zu erteilen; eventualiter sei ihm die Aufenthaltsbewilligung zu verlängern und subeventualiter sei das angefochtene Urteil aufzuheben und die Sache zur neuen Beurteilung gemäss den Erwägungen des Bundesgerichts an das Verwaltungsgericht des Kantons Zürich zurückzuweisen.
Das Verwaltungsgericht des Kantons Zürich hat auf eine Vernehmlassung verzichtet. Das Bundesamt für Migration schliesst auf Abweisung der Beschwerde.
D. Am 3. Januar 2012 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss die aufschiebende Wirkung erteilt.

Erwägungen:
1. 1.1 Angefochten ist der letztinstanzliche Entscheid einer kantonalen Gerichtsbehörde auf dem Gebiet des Ausländerrechts, welcher grundsätzlich der Beschwerde in öffentlich-rechtlichen Angelegenheiten unterliegt (<ref-law> und <ref-law>). Gemäss <ref-law> ist die Beschwerde unzulässig gegen Entscheide betreffend ausländerrechtliche Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt. Vorliegend beruft sich der Beschwerdeführer auf Art. 50 Abs. 1 lit. a AuG (SR 142.20), wonach der Anspruch des Ehegatten auf Verlängerung der Aufenthaltsbewilligung nach Auflösung der Ehe weiterbesteht, wenn die Ehegemeinschaft mindestens drei Jahre bestanden hat und der Ehegatte erfolgreich integriert ist. Ob der Anspruch auf Verlängerung der Bewilligung im konkreten Fall zu bejahen ist, betrifft nicht die Eintretensfrage, sondern die materielle Behandlung der Eingabe (<ref-ruling> E. 1.1 S. 179). Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist somit zulässig. Aus diesem Grund besteht für die subsidiäre Verfassungsbeschwerde kein Raum (vgl. <ref-law>; <ref-ruling> E. 1.3 S. 287), so dass darauf nicht einzutreten ist.
1.2 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 und 96 BGG geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es prüft, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde gemäss Art. 42 Abs. 1 und 2 BGG, grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254). Die Verletzung von Grundrechten prüft das Bundesgericht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>; <ref-ruling> E. 1.6 S. 130).
1.3 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Die Feststellung des Sachverhalts kann nur beanstandet werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinn von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Die Rüge, der Sachverhalt sei offensichtlich unrichtig festgestellt worden, ist gleichzusetzen mit der Willkürrüge (<ref-ruling> E. 4.1.2 S. 62). Auch hier sind strenge Anforderungen an die Substanziierung der Beschwerde gerechtfertigt. Demzufolge genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten. Vielmehr ist darzutun, dass und inwiefern der festgestellte Sachverhalt in einem entscheidwesentlichen Punkt klar und eindeutig mangelhaft erscheint (<ref-ruling> E. 1.4.3 S. 254 f.). Auf rein appellatorische Kritik an der Sachverhaltsermittlung und an der Beweiswürdigung tritt das Bundesgericht nicht ein (<ref-ruling> E. 3 S.104 f.).
2. Die Aufenthaltsbewilligung war dem Beschwerdeführer im Rahmen des Familiennachzugs nach Art. 42 Abs. 1 AuG erteilt und nach der Aufhebung der Ehegemeinschaft nicht mehr verlängert worden. Das Migrationsamt und die Sicherheitsdirektion begründeten die Nichtverlängerung der Aufenthaltsbewilligung mit dem Vorliegen einer Scheinehe und stützten ihren Entscheid demgemäss auf Art. 51 Abs. 1 lit. a AuG. Im Gegensatz dazu kam die Vorinstanz zum Schluss, es liege keine Scheinehe vor, jedoch sei die Ehegemeinschaft vor Ablauf der Dreijahresfrist im Sinn von Art. 50 Abs. 1 lit. a AuG aufgehoben worden, so dass kein Anspruch auf Verlängerung der Bewilligung bestehe.
2.1 Die Vorinstanz begründet ihren Entscheid folgendermassen: Sowohl der Beschwerdeführer als auch Y._ hätten anlässlich mehrerer Befragungen angegeben, die Ehegemeinschaft sei am 1. August 2006 aufgelöst worden und sie hätten nun ein freundschaftliches Verhältnis. Bei einer Befragung durch das Migrationsamt am 7. Juli 2009 habe sich Y._ jedoch nicht mehr an das Datum des Auszugs erinnern können. Weil es für den Beschwerdeführer sehr darauf angekommen sei, dass der Auszug aus der ehelichen Wohnung nicht vor dem 23. Juli 2006 erfolgt sei, und weil die ihm weiterhin freundschaftlich verbundene Y._ ihm offensichtlich nicht habe schaden wollen, überzeuge die Darstellung der Eheleute, wonach die Paargemeinschaft am 1. August 2006 aufgehoben worden sei, insbesondere angesichts Y._s Erinnerungslücken nicht. Zudem würden die Meldeverhältnisse und der abgeschlossene Mietvertrag Indizien dafür bilden, dass die Ehegemeinschaft bereits vor dem 23. Juli 2006 aufgehoben worden sei.
2.2 Der Beschwerdeführer macht geltend, die Vorinstanz habe den Sachverhalt willkürlich festgestellt, indem sie von einer weniger als drei Jahre dauernden Ehegemeinschaft ausgegangen sei. Die Vorinstanz hätte beweisen müssen, dass die Ehegemeinschaft vor Ablauf der Dreijahresfrist aufgehoben worden sei. Stattdessen habe sie die Beweislast umgekehrt und den Beschwerdeführer die Folgen der Beweislosigkeit tragen lassen. Damit habe die Vorinstanz gegen das Beweisrecht des Bundes und gegen das Willkürverbot verstossen.
Die Vorinstanz habe den Angaben von Y._, wonach der Beschwerdeführer am 1. August 2006 aus der ehelichen Wohnung ausgezogen sei, in willkürlicher Weise keinen Glauben geschenkt und den Zeitpunkt des Auszugs des Beschwerdeführers offensichtlich unrichtig auf Ende Juni 2006 bzw. den 1. Juli 2006 vorverlegt. Dass der Beschwerdeführer den Mietvertrag bereits Ende Juni 2006 unterzeichnet und sich per 1. Juli 2006 an der neuen Adresse angemeldet habe, sei nachvollziehbar: Wer eine günstige Wohnung per 1. Juli mieten könne, habe keine andere Wahl, als den Vertrag per 1. Juli abzuschliessen. Dies bedeute aber nicht, dass die Person tatsächlich am 1. Juli dort einziehe, zumal eine Trennung von Eheleuten Zeit brauche und ein Zögern beim definitiven Auszug nachvollziehbar sei. Betreffend die Ummeldung bei der Einwohnerkontrolle habe der Beschwerdeführer vermeiden wollen, eine Frist zu verpassen. Indem die Vorinstanz auf diese Argumente nicht eingegangen sei, habe sie den Anspruch des Beschwerdeführers auf rechtliches Gehör verletzt.
Auch wenn die Eheleute getrennt leben würden, sei vom Fortbestand der Ehe auszugehen, solange die Eheleute dies aus objektivierbaren Gründen täten und die Ehe nicht definitiv als gescheitert anzusehen sei. Der Ehewille könne trotz getrennter Wohnsitze fortbestehen. Auf die im Juni 2008 gestellte Frage des Migrationsamtes, ob allenfalls mit einer baldigen Wiederaufnahme der ehelichen Gemeinschaft zu rechnen sei, habe Y._ geantwortet, sie könne es zur Zeit nicht sagen. Der Beschwerdeführer habe auf die entsprechende Frage geantwortet, sie bräuchten im Moment noch etwas Abstand. Diesen Angaben sei zu entnehmen, dass die Ehe auch im Juni 2008 noch nicht definitiv gescheitert sei. Die Eheleute hätten Distanz gebraucht, um ihre Gedanken und Gefühle zu ordnen. Erst in der folgenden Zeit habe sich herauskristallisiert, dass die Fortsetzung der Ehe nicht mehr der Wunsch der Eheleute gewesen sei. Die Vorinstanz habe sich mit den Argumenten des Beschwerdeführers zum Fortbestand der Ehegemeinschaft nach dem Auszug aus der gemeinsamen Wohnung nicht auseinandergesetzt und willkürlich einzig auf Y._s Aussage abgestellt, wonach die Beziehung im Juni 2008 freundschaftlich gewesen sei. Damit habe die Vorinstanz auch gegen die im AuG niedergelegte Definition der Ehegemeinschaft verstossen.
3. Die Vorinstanz hat einlässlich begründet, warum im vorliegenden Fall nicht genügend Anhaltspunkte vorliegen, dass von einer Scheinehe ausgegangen werden könnte. Nach den zutreffenden Erwägungen der Vorinstanz ändert daran auch der Umstand nichts, dass dem Beschwerdeführer während der Ehe in Togo eine Tochter geboren wurde. Das Bundesgericht geht daher davon aus, dass die Ehe nicht missbräuchlich geschlossen worden ist und bis zum Auszug des Beschwerdeführers aus der gemeinsamen Wohnung eine Ehegemeinschaft bestanden hat.
4. Im Folgenden ist zu prüfen, ob die Ehegemeinschaft des Beschwerdeführers mit Y._ drei Jahre gedauert hat oder ob sie vor Ablauf dieser Frist aufgelöst worden ist. Die Dreijahresfrist gemäss Art. 50 Abs. 1 lit. a AuG gilt absolut; bereits das Fehlen weniger Tage oder Wochen schliesst den Anspruch auf Verlängerung der Aufenthaltsbewilligung aus (Urteile 2C_195/2010 vom 23. Juni 2010 E. 5.1; 2C_635/2009 vom 26. März 2010 E. 5.2).
4.1 Für die Anrechnung der dreijährigen Frist gemäss Art. 50 Abs. 1 lit. a AuG ist auf die in der Schweiz gelebte Ehegemeinschaft abzustellen (<ref-ruling> E. 3.3 S. 117). Diese hat vorliegend mit dem Datum der Einreise des Beschwerdeführers in die Schweiz am 23. Juli 2003 zu laufen begonnen und am 22. Juli 2006 geendet.
4.2 Massgeblicher Zeitpunkt für die retrospektive Berechnung der Dauer der ehelichen Gemeinschaft ist in der Regel die Aufgabe der Haushaltsgemeinschaft (<ref-ruling> E. 3.2 S. 115 ff.). Vorliegend ist umstritten, in welchem Zeitpunkt der Beschwerdeführer das eheliche Domizil verlassen und damit die Aufhebung der Ehegemeinschaft bewirkt hat. Nach den Feststellungen der Vorinstanz hat der Beschwerdeführer das eheliche Domizil "im Sommer 2006" verlassen; sie erwog, die Meldeverhältnisse würden für den 1. Juli 2006 als Auszugsdatum sprechen. Damit wäre die Dreijahresfrist, welche am 22. Juli 2006 endete, nicht erreicht. Folgt man dagegen der Darstellung des Beschwerdeführers und seiner damaligen Ehefrau, wonach der Auszug am 1. August 2006 erfolgte, hätte das eheliche Zusammenleben drei Jahre und neun Tage gedauert.
4.3 Im Verwaltungsverfahren und -prozess sind Tatsachen, die einer belastenden Verfügung zugrunde liegen, von der Behörde zu beweisen (vgl. <ref-ruling> E. 3.2 S. 485). Im vorliegenden Fall besteht die fragliche Tatsache darin, dass der Beschwerdeführer die eheliche Wohnung vor dem 23. Juli 2006 verlassen hat; dies hat die Vorinstanz in Ermangelung eines vollen Beweises aufgrund von Indizien bejaht. Demgegenüber hat die rechtsuchende Partei trotz der Geltung des Untersuchungsgrundsatzes jene Tatsachen zu beweisen, aus deren Vorhandensein sie Rechte für sich ableitet (vgl. Urteil 2A.248/1996 vom 14. November 1996 E. 1/e). Dies gilt gleichermassen für das kantonale Verfahren (vgl. für den Kanton Zürich KÖLZ UND ANDERE, Kommentar zum Verwaltungsrechtspflegegesetz des Kantons Zürich, 2. Aufl. 1999, N. 5 zu § 7). Somit oblag im vorliegenden Fall dem Beschwerdeführer die Beweislast in Bezug auf die Tatsache, dass er die eheliche Wohnung am 1. August 2006 verlassen hat.
4.4 Die Vorinstanz ist zum Schluss gekommen, der Auszug aus der ehelichen Wohnung habe Anfang Juli 2006 stattgefunden. Will der Beschwerdeführer glaubhaft machen, dass er bis zum 1. August 2006 in der ehelichen Wohnung gelebt und mit Y._ eine Ehegemeinschaft geführt hat, muss er diese Behauptung mit dem Nachweis objektiver Tatsachen untermauern. Seine und Y._s Aussage, der Umzug habe am 1. August 2006 stattgefunden, wird nicht durch Tatumstände objektiviert und stellt daher ein schwaches Indiz für das Vorliegen der behaupteten Tatsache dar. Der Beschwerdeführer weist darauf hin, dass Y._ bei der Abklärung, ob eine Scheinehe vorliege, Glaubwürdigkeit attestiert worden war. Dieser Umstand ist jedoch wiederum nur ein schwaches Indiz dafür, dass Y._s Datumsangabe im vorliegenden Fall der Wirklichkeit entspricht. Die übrigen Indizien weisen in die entgegengesetzte Richtung: Der Beschwerdeführer hat eine Wohnung gesucht, am 23. Juni 2006 einen Mietvertrag abgeschlossen und sich per 1. Juli 2006 an der neuen Adresse angemeldet. Damit hat er nach aussen kundgetan, dass die Ehegemeinschaft in Kürze beendet würde. Der Beschwerdeführer hat aktiv darauf hingewirkt, die eheliche Wohnung zu verlassen und am 1. Juli 2006 eine Wohnung zur Verfügung zu haben. Er bringt keine sachbezogene Begründung vor, weshalb er erst einen Monat nach Mietbeginn in die Wohnung hätte einziehen sollen, und kann diese Behauptung nicht belegen. Zwar mag zutreffen, dass Mietparteien in Bezug auf das jeweilige Mietobjekt den Mietbeginn in manchen Fällen faktisch nicht frei wählen können. Der Beschwerdeführer tut jedoch nicht dar, dass dies bei ihm der Fall gewesen wäre. Der Umstand, dass er sich zusätzlich bereits per 1. Juli 2006 an der neuen Adresse angemeldet hat, bildet zusammen mit dem Abschluss des Mietvertrags ein starkes Indiz dafür, dass er vor dem 23. Juli 2006 in die Wohnung eingezogen ist. Umgekehrt liegen ausser Y._s Aussage keine Anhaltspunkte vor, welche das Datum des 1. August 2006 als Auszugsdatum stützen würden. Es ist daher mit der Vorinstanz davon auszugehen, dass die Ehegemeinschaft mit Y._ vor dem 23. Juli 2006 beendet wurde. Die Rüge, die Vorinstanz habe den Sachverhalt willkürlich festgestellt, erweist sich somit als unbegründet.
4.5 Der Beschwerdeführer bringt im Sinn einer Eventualbegründung vor, die Ehe sei auch am 12. Juni 2008 noch nicht definitiv gescheitert gewesen; das Getrenntleben in jenem Zeitpunkt habe objektivierbare Gründe gehabt. Der Beschwerdeführer beruft sich damit sinngemäss auf Art 49 AuG.
Gemäss Art. 49 AuG besteht das Erfordernis des Zusammenwohnens nicht, wenn für getrennte Wohnorte wichtige Gründe geltend gemacht werden und die Familiengemeinschaft weiterhin besteht. Im Gegensatz zu dem, was der Beschwerdeführer vorbringt, sind wichtige Gründe für das Getrenntleben nicht ersichtlich und es liegen keine Anhaltspunkte vor, wonach die Familiengemeinschaft weiterhin bestanden hätte. Ein vorübergehendes Getrenntleben aufgrund einer Ehekrise mit dem Ziel, die Haushaltsgemeinschaft wieder aufzunehmen, kann zwar grundsätzlich unter Art. 49 AuG subsumiert werden. Im vorliegenden Fall deutet jedoch alles darauf hin, dass der Ehewille bereits im Sommer 2006 erloschen war. Daran ändert die Tatsache nichts, dass die Ehegatten anscheinend auf freundschaftlicher Basis weiterhin Kontakt pflegten; im Gegenteil: Ein Ehepaar, welches sich in einer Krise befindet, würde seine Beziehung kaum als freundschaftlich bezeichnen, wie es der Beschwerdeführer und Y._ getan haben. Zudem erscheint mit Blick auf die Ehedauer von weniger als vier Jahren im Zeitpunkt der Aufhebung der Haushaltsgemeinschaft ein Getrenntleben von rund zwei Jahren, um eine Krise zu bewältigen, als übermässig lang und damit nicht glaubhaft. Vielmehr ist vorliegend von einer Trennung auszugehen, welche sich im Juli 2006 in der Aufhebung der Haushaltsgemeinschaft manifestiert hat.
Die Vorinstanz hat das rechtliche Gehör des Beschwerdeführers nicht verletzt, wenn sie ihre Erwägung, es lägen keine wichtigen Gründe im Sinn von Art. 49 AuG vor, mit dem freundschaftlichen Verhältnis der damaligen Ehegatten begründet hat. Auf die weiteren Vorbringen des Beschwerdeführers, er und Y._ würden einander treffen und wöchentlich miteinander telefonieren, einander helfen, miteinander lernen und sich mit Freunden und Verwandten treffen, musste die Vorinstanz nicht im Einzelnen eingehen. Nach der Rechtsprechung zur Begründungspflicht als Teilaspekt des Anspruchs auf rechtliches Gehör muss die Begründung eines Entscheids so abgefasst sein, dass die betroffene Person den Entscheid gegebenenfalls sachgerecht anfechten kann. Das Gericht muss kurz die wesentlichen Überlegungen nennen, von denen es sich hat leiten lassen und auf die es seinen Entscheid stützt. Nicht erforderlich ist, dass sich die Begründung mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt (<ref-ruling> E. 2.2.1 S. 188 mit Hinweisen). Die Anforderungen an die behördliche Begründungspflicht sind in Bezug auf das angefochtene Urteil erfüllt. Der Beschwerdeführer konnte dieses denn auch mit einer sachbezogenen Begründung anfechten.
4.6 Nach dem Gesagten ist die Dreijahresfrist gemäss Art. 50 Abs. 1 lit. a AuG nicht erfüllt. Es erübrigt sich daher zu prüfen, ob eine erfolgreiche Integration besteht.
Ansprüche aufgrund von Art. 50 Abs. 1 lit. b AuG macht der Beschwerdeführer nicht geltend.
5. Aus den vorstehenden Erwägungen ergibt sich, dass die Beschwerde abzuweisen ist.
Bei diesem Ausgang sind die Kosten des bundesgerichtlichen Verfahrens dem Beschwerdeführer zu auferlegen (<ref-law>). Es ist keine Parteientschädigung zuzusprechen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 4. Kammer, und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 14. August 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Die Gerichtsschreiberin: Genner