Sachverhalt:
A. X._ wird vorgeworfen, im Zeitraum von Anfang Februar 2006 bis 11. August 2006 seine damalige Ehefrau, A._, in der gemeinsamen Wohnung an der B._strasse 32 in D._ mehrfach vergewaltigt und sie am 11. Oktober 2008 in seiner Wohnung an der C._strasse 14 in D._ sexuell genötigt zu haben.
B. Das Bezirksgericht Uster sprach X._ am 25. November 2010 der mehrfachen Vergewaltigung, der sexuellen Nötigung sowie der Freiheitsberaubung schuldig. Vom Vorwurf der mehrfachen Drohung und der versuchten Vergewaltigung sprach es ihn frei. Es verurteilte ihn zu einer Freiheitsstrafe von 3 Jahren. Für die Dauer von 18 Monaten schob es den Vollzug der Freiheitsstrafe auf und setzte die Probezeit auf zwei Jahre fest. Im Umfang von 18 Monaten erklärte das Bezirksgericht die Freiheitsstrafe für vollziehbar, unter Anrechnung eines Tages für ausgestandene Untersuchungshaft. Es stellte fest, dass X._ gegenüber der Geschädigten aus den eingeklagten Ereignissen dem Grundsatze nach schadenersatzpflichtig ist. Zur genauen Feststellung des Umfangs der Schadenersatzansprüche verwies es die Geschädigte auf den Weg des Zivilprozesses. Das Bezirksgericht verpflichtete X._, der Geschädigten Fr. 15'000.-- als Genugtuung zu bezahlen, zuzüglich 5% Zins ab 7. November 2008. Im Mehrbetrag wies es das Genugtuungsbegehren ab.
X._ erhob Berufung mit dem Antrag, er sei vollumfänglich freizusprechen.
Das Obergericht des Kantons Zürich bestätigte am 8. November 2011 die erstinstanzlichen Schuldsprüche wegen mehrfacher Vergewaltigung und sexueller Nötigung. Vom Vorwurf der Freiheitsberaubung sprach es X._ frei. Es verurteilte ihn zu einer Freiheitsstrafe von 3 Jahren. Den zu vollziehenden Teil der Freiheitsstrafe reduzierte es auf 12 Monate, unter Anrechnung eines Tages für ausgestandene Untersuchungshaft. Es bestätigte die erstinstanzlichen Entscheide betreffend Schadenersatz und Genugtuung.
C. Mit Beschwerde in Strafsachen beantragt X._, das Urteil des Obergerichts sei aufzuheben. Er sei von den Vorwürfen der mehrfachen Vergewaltigung und der sexuellen Nötigung freizusprechen. Eventualiter seien weitere Beweiserhebungen vorzunehmen. Subeventualiter sei das Verfahren an die Vorinstanz zwecks weiterer Beweiserhebungen zurückzuweisen. Die Zivilforderungen seien auf den Zivilweg zu verweisen, unter Kosten- und Entschädigungsfolgen zulasten des Staates.

Erwägungen:
1. 1.1 Der Beschwerdeführer bestreitet wie bereits im kantonalen Verfahren die ihm zur Last gelegten Straftaten. Zur Begründung macht er in der Beschwerde an das Bundesgericht erstmals geltend, dass er als frommer Christ entsprechend den Gepflogenheiten in seinem Herkunftsland Nigeria mit einer Frau während der Menstruationszeiten keine sexuellen Handlungen vornehme. Die Geschädigte habe zur fraglichen Zeit gelegentlich während zweier Monate menstruiert bzw. Zwischenblutungen gehabt. Zum Beweis für diese Behauptungen verweist der Beschwerdeführer im Verfahren vor dem Bundesgericht auf Zitate aus der Bibel, offeriert ein Schreiben eines anglikanischen Seelsorgers aus Nigeria, das nachgereicht werde, und beantragt die Befragungen des Hausarztes und des Gynäkologen der Geschädigten.
Diese neuen Tatsachenbehauptungen und Beweisanträge sind nach der Meinung des Beschwerdeführers gemäss <ref-law> zulässig, da erst der angefochtene Entscheid dazu Anlass gegeben habe. Die Untersuchungsbehörden und die beiden Vorinstanzen hätten sich mit seinem Argument des sexuellen Fastens angesichts konkret bestehender Anhaltspunkte befassen und den sich daraus ergebenden entlastenden Umständen nachgehen müssen. Da sie dies jedoch unterlassen hätten, sei der Grundsatz der Offizialmaxime gemäss <ref-law> bzw. § 21 aStPO/ZH verletzt und gegen Bundesrecht gemäss <ref-law> verstossen worden. Überdies liege eine Verletzung des verfassungsrechtlichen Willkürverbots von <ref-law> vor.
1.2 Am 1. Januar 2011 trat die Schweizerische Strafprozessordnung (StPO; SR 312.0) in Kraft. Der Entscheid der ersten Instanz erging am 25. November 2010. Das kantonale Verfahren samt Rechtsmittelverfahren richtet sich daher gemäss <ref-law> nach dem früheren Recht, also nach der Strafprozessordnung des Kantons Zürich vom 14. Mai 1919 (aStPO/ZH). Soweit der Beschwerdeführer die Schweizerische Strafprozessordnung als anwendbar erachtet und er sich in seiner Beschwerde darauf beruft, ist er mit seinen Vorbringen nicht zu hören.
1.3 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig, d. h. willkürlich im Sinne von <ref-law> ist (<ref-ruling> E. 1.2.2 S. 252) oder auf einer Verletzung von schweizerischem Recht im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Die Rüge der offensichtlich unrichtigen Feststellung des Sachverhalts prüft das Bundesgericht nur insofern, als sie in der Beschwerde begründet worden ist (<ref-law>).
Willkür im Sinne von <ref-law> liegt nach ständiger Rechtsprechung nur vor, wenn der angefochtene Entscheid auf einer unhaltbaren oder widersprüchlichen Beweiswürdigung beruht, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 2.4 S. 5). Für die Begründung von Willkür genügt es praxisgemäss nicht, dass das angefochtene Urteil mit der Darstellung des Beschwerdeführers nicht übereinstimmt oder eine andere Lösung oder Würdigung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre (<ref-ruling> E. 5.4 S. 148 mit Hinweisen).
1.4 Im bundesgerichtlichen Verfahren dürfen neue Tatsachen und Beweismittel nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>), was in der Beschwerde näher darzulegen ist. Zu den Tatsachen, zu deren Vorbringen erst der angefochtene Entscheid Anlass gibt, zählen insbesondere alle Umstände, die für die Anfechtung des Entscheids von Bedeutung sind (Eröffnung, Zustellung, Fristwahrung etc.), ferner Tatsachen zur Begründung gewisser formellrechtlicher Mängel (Verletzung des rechtlichen Gehörs, unrichtige Besetzung der Richterbank), mit denen nicht zu rechnen war, und schliesslich tatsächliche Vorbringen, die erst aufgrund einer neuen, überraschenden rechtlichen Argumentation der Vorinstanz Rechtserheblichkeit erlangt haben. Dazu gehören aber nicht Tatsachenbehauptungen, die der Beschwerdeführer im kantonalen Verfahren vorzutragen unterlassen hat, und die deshalb von der Vorinstanz auch nicht berücksichtigt werden konnten (Urteil 4A_18/2010 vom 15. März 2010 E. 2.1 mit Hinweisen, nicht publ. in: <ref-ruling>).
1.5 Der Beschwerdeführer rügt eine Verletzung der Offizialmaxime gemäss § 21 aStPO/ZH. Seinen Ausführungen ist jedoch zu entnehmen, dass er den Untersuchungsgrundsatz gemäss § 31 aStPO/ZH als nicht eingehalten erachtet. Nach dieser Bestimmung soll der Untersuchungsbeamte den belastenden und den entlastenden Tatsachen mit gleicher Sorgfalt nachgehen.
Aus der Regelung von § 31 aStPO/ZH wird in der Literatur abgeleitet, dass der Untersuchungsbeamte innerlich offen sein müsse auch für andere denkbare Geschehensabläufe als die anfängliche These von Tat und Täter. Zwar sei den belastenden und entlastenden Momenten von Amtes wegen nachzugehen. Doch sei es naheliegend, dass die Anregung, gewisse entlastende Umstände abzuklären, von einem Verfahrensbeteiligten, vor allem dem Beschuldigten oder Geschädigten stamme und häufig mit konkreten Beweisanträgen verbunden sei. Angesichts der relativen Bedeutung der Untersuchung für das Strafurteil nehme die Praxis eine Verletzung dieser Norm nur an, "wenn die Untersuchungsbehörde es in offensichtlich stossender Weise unterlasse, sich aufdrängende Entlastungsbeweise abzunehmen" (Urteil 6B_799/2008 vom 31. März 2009 E. 1.1; DONATSCH/SCHMID, Kommentar zur Strafprozessordnung des Kantons Zürich vom 4. Mai 1919, Zürich 1996, § 31 N. 5 ff.; KÜNG/HAURI/BRUNNER, Handkommentar zur Zürcher Strafprozessordnung, Bern 2005, § 31 N. 1 f.).
1.6 Es ist nicht zu beanstanden, wenn die Vorinstanz die Bemerkung des Beschwerdeführers in der polizeilichen Einvernahme, er habe auch sexuell gefastet, nicht zum Anlass nahm, abzuklären, ob sich dieses Fasten auch, religiös motiviert, auf die Menstruationszeiten der Geschädigten bezog. Weder der Wortlaut noch der Sinn seiner Aussage (Einvernahme durch die Kantonspolizei Zürich vom 15. Dezember 2008, act. 6 S. 5) legten Nachforschungen in diese Richtung nahe, grenzte doch der Beschwerdeführer mit seiner Umschreibung das sexuelle Fasten dahin gehend ein, dass dieses einen Teilaspekt seines religiös motivierten Verzichts auf Essen und Trinken darstelle. Auch der Umstand, dass der Beschwerdeführer erklärte, er sei gottesfürchtig, sowie die Tatsache, dass er in Nigeria aufwuchs, mussten die Vorinstanz nicht veranlassen, hinsichtlich religiöser Gepflogenheiten in Nigeria und deren Einflüssen auf das Sexualverhalten des Beschwerdeführers Abklärungen vorzunehmen. Ebenso wenig musste die Vorinstanz die Bemerkung der Geschädigten, sie habe regelmässig Zwischenblutungen gehabt bzw. sei in jener Zeit in Abänderung gewesen, zum Anlass nehmen, weiter dem sexuellen Verhalten des Beschwerdeführers während der Menstruationszeiten der Geschädigten nachzugehen.
Es wäre Sache des Beschwerdeführers gewesen, den Untersuchungsbehörden vorzutragen, dass er aus religiösen Gründen keinen Sex mit der Geschädigten während der Menstruationszeiten hatte. Dieses nicht naheliegende Argument hätte er von sich aus während der Strafuntersuchung vorbringen können und müssen. Anlässlich der Einvernahmen und Gerichtsverhandlungen wurden ihm die Tatvorwürfe, welche sich auf einen Zeitraum von mehreren Monaten bezogen, vorgehalten. Der Beschwerdeführer hätte angesichts der Möglichkeit, dass auch Menstruationsphasen der Geschädigten in diese Zeitspanne fielen, ohne Weiteres seinen Einwand geltend machen können. Der ihm zur Seite gestellte amtliche Verteidiger und eine jeweils für die Übersetzung zuständige Fachperson waren befähigt, ihn bei allfälligen Verständigungsschwierigkeiten zu unterstützen.
1.7 Die Behauptung des Beschwerdeführers, er habe keinen Sex mit der Geschädigten während deren Menstruationszeiten gehabt und die entsprechend gestellten Beweisanträge sind neu. Sie sind unzulässig, da der angefochtene Entscheid keinen Anlass dazu gegeben hat. Die Rüge, die Vorinstanz habe den Untersuchungsgrundsatz verletzt, ist unbegründet.
1.8 Die Vorinstanz durfte gestützt auf die Schilderungen der Geschädigten, denen sie willkürfrei eine hohe Glaubwürdigkeit beimisst, die inkriminierten Handlungen als erstellt erachten. Die Rüge, das verfassungsrechtliche Willkürverbot sei verletzt worden, ist unbegründet.
2. Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens sind die Kosten dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf eingetreten wird.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Strafkammer, schriftlich mitgeteilt.
Lausanne, 12. Juli 2012
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Der Gerichtsschreiber: Adamczyk