Sachverhalt:
A. Das Bezirksgericht Andelfingen verurteilte X._ am 4. Dezember 2009 wegen mehrfacher Vergewaltigung, mehrfacher Freiheitsberaubung und Entführung, mehrfacher einfacher Körperverletzung sowie mehrfacher Tätlichkeiten zum Nachteil von A._ zu einer Gesamtstrafe von drei Jahren Freiheitsstrafe unter Einbezug der widerrufenen bedingten Gefängnisstrafe von drei Monaten gemäss Strafbefehl der Staatsanwaltschaft Winterthur/Unterland vom 15. September 2006 und abzüglich 13 Tage erstandener Untersuchungshaft. Ausserdem fällte es eine Busse von Fr. 500.-- aus. Den Vollzug der Freiheitsstrafe sprach es teilbedingt aus, wobei es den zu vollziehenden Strafteil auf ein Jahr festsetzte und die restlichen zwei Jahre Freiheitsstrafe bei einer Probezeit von zwei Jahren aufschob. Ausserdem verpflichtete es X._, an A._ Schadenersatz von Fr. 500.-- sowie eine Genugtuung von Fr. 15'000.-- zu zahlen.
B. Gegen diesen Entscheid erhoben X._ Berufung und die Staatsanwaltschaft Anschlussberufung ans Obergericht des Kantons Zürich. Dieses bestätigte am 3. November 2010 die Schuldsprüche und verurteilte X._ zu einer Freiheitsstrafe von vier Jahren und sechs Monaten, abzüglich 11 Tage erstandener Untersuchungshaft, sowie zu einer Busse von Fr. 2'000.--. Von einem Widerruf der bedingten Gefängnisstrafe von drei Monaten gemäss Strafbefehl der Staatsanwaltschaft Winterthur/Unterland vom 15. September 2006 sah es ab, verlängerte jedoch die zweijährige Probezeit um ein Jahr. Es bestätigte die erstinstanzliche Schadenersatz- und Genugtuungszahlung.
C. X._ erhebt Beschwerde in Strafsachen beim Bundesgericht. Er beantragt, das Urteil des Obergerichts des Kantons Zürich vom 3. November 2010 sei aufzuheben, und er sei in einem Fall wegen einfacher Körperverletzung schuldig zu sprechen. In sämtlichen übrigen Punkten sei er vollumfänglich freizusprechen.
D. Es wurden keine Vernehmlassungen eingeholt.

Erwägungen:
1. Die Vorinstanz geht von folgendem Sachverhalt aus:
Der Beschwerdeführer zwang die Beschwerdegegnerin 2 zwischen Ende August 2007 und dem 17. Februar 2008 in regelmässigen Abständen von drei bis vier Tagen, gegen ihren erklärten Willen und trotz Gegenwehr, zum Geschlechtsverkehr. Er machte sie jeweils durch Schläge gefügig, trat gegen sie, riss ihr an den Haaren und sperrte sie ins Schlafzimmer. Zudem schloss er sie in demselben Zeitraum ungefähr alle vier Tage während 20 bis 40 Minuten in ein Zimmer und einmal in den Keller ein, nachdem er sie geschlagen hatte. Er schlug ihr Mitte Januar 2008 mit einem Klappstuhl gegen den Nacken, was bei der Beschwerdegegnerin 2 zu einer Versteifung des Nackens mit lange dauernden Nacken- und Kopfschmerzen führte. Einmal verprügelte er sie derart heftig, dass sie verschiedene, lange sichtbare und schmerzhafte Hämatome am linken Arm und Bein erlitt. Weiter stellte er am 17. Februar 2008 seinen Fuss auf ihren Kopf, quetschte hierbei ihre Ohren und fügte ihr damit mehrere Prellungen im Rippen- und Bauchbereich sowie hinter dem linken Ohr zu. Er schlug sie ausserdem zwischen Ende August 2007 bis ungefähr 16. Februar 2008 täglich mit der Hand ins Gesicht, ohne ihr Verletzungen zuzufügen.
2. 2.1 Der Beschwerdeführer rügt eine Verletzung des rechtlichen Gehörs. Es bestünden keine ausreichenden Gründe, die es gerechtfertigt hätten, von vornherein auf eine Einvernahme seines Bruders zu verzichten. Es sei davon auszugehen, dass er zu den widersprüchlichen Behauptungen im Zusammenhang mit den Schlägen gegenüber der Beschwerdegegnerin 2 sachdienliche Aussagen hätte tätigen können. Ebenso hätten die Vermieter der beiden Liegenschaften Wahrnehmungen machen müssen, wenn die Beschwerdegegnerin von ihm angeblich misshandelt und regelmässig geschlagen worden wäre. Die Vorinstanz gehe zwar zu seinen Gunsten davon aus, dass die Nachbarn kein Schreien wahrgenommen hätten, gleichwohl spreche dies nicht gegen die Glaubhaftigkeit der Aussagen der Beschwerdegegnerin 2. Die Vorinstanz habe ihn dadurch um die Möglichkeit eines wichtigen Entlastungsbeweises gebracht (Beschwerde, S. 41 ff.).
2.2 Die Vorinstanz führt aus, die entlastenden Aussagen der Eltern stellten augenfällige Gefälligkeitsaussagen dar. Ein anderes Aussageverhalten sei vom Bruder des Beschwerdeführers nicht zu erwarten. Es könne antizipierend davon ausgegangen werden, dass er als Zeuge jegliches strafbares Verhalten des Beschwerdeführers bestreiten würde. Ebenfalls könne auf die Einvernahme der Nachbarn und des Vermieters der Familie X._ verzichtet werden. Da zugunsten des Beschwerdeführers davon ausgegangen werden könne, dass die angerufenen Zeugen kein Schreien bezeugen würden, ändere sich am Beweisergebnis nichts (angefochtenes Urteil, S. 21 f.).
2.3 Dem Sachgericht steht im Bereich der Beweiswürdigung ein erheblicher Ermessensspielraum zu (Urteil 6B_209/2010 vom 2. Dezember 2010 E. 5.3.3; <ref-ruling> E. 4b). Das Bundesgericht greift auf Beschwerde hin nur ein, wenn es diesen missbraucht, insbesondere offensichtlich unhaltbare Schlüsse zieht, erhebliche Beweise übersieht oder solche willkürlich ausser Acht lässt (<ref-ruling> E. 2.1). Inwiefern das kantonale Gericht sein Ermessen im dargelegten Sinn missbraucht haben soll, ist in der Beschwerde klar und detailliert aufzuzeigen (<ref-ruling> E. 1.3). Namentlich genügt es nicht, einzelne Beweise anzuführen, die anders als im angefochtenen Entscheid gewichtet werden sollen, und dem Bundesgericht in appellatorischer Kritik die eigene Auffassung zu unterbreiten, als ob diesem die freie Prüfung aller Tat- und Rechtsfragen zukäme (Urteil 6B_209/2010 vom 2. Dezember 2010 E. 5.3.3).
2.4 Der Anspruch der Parteien, mit rechtzeitig und formgültig angebotenen Beweisanträgen und Vorbringen gehört zu werden, soweit diese erhebliche Tatsachen betreffen und nicht offensichtlich beweisuntauglich sind, leitet sich aus dem Anspruch auf rechtliches Gehör ab (<ref-ruling> E. 2.1; <ref-ruling> E. 3b; je mit Hinweisen). Keine Verletzung des rechtlichen Gehörs liegt vor, wenn das Gericht darauf verzichtet, beantragte Beweise abzunehmen, weil es auf Grund der bereits abgenommenen Beweise seine Überzeugung gebildet hat und ohne Willkür in vorweggenommener Beweiswürdigung annehmen kann, seine Überzeugung würde durch weitere Beweiserhebungen nicht geändert (<ref-ruling> E. 5.3; <ref-ruling> E. 3 mit Hinweisen).
2.5 Der Entscheid der Vorinstanz, in antizipierter Beweiswürdigung auf die Einvernahmen des Bruders des Beschwerdeführers sowie der Vermieter der beiden Liegenschaften zu verzichten, ist nicht zu beanstanden. Die Vorinstanz weist in Bezug auf den Bruder des Beschwerdeführers darauf hin, dass die Beschwerdegegnerin 2 diesen der Anstiftung des Beschwerdeführers zu Übergriffen auf sie bezichtigt hat, weshalb der Bruder als Zeuge jegliches strafbares Verhalten des Beschwerdeführers bestreiten würde (angefochtenes Urteil, S. 21). Die Vorinstanz durfte somit beim Bruder des Beschwerdeführers darauf schliessen, dass dieser Gefälligkeitsaussagen zugunsten seines Bruders machen würde. Ausserdem ging die Vorinstanz auch ohne Befragung der Nachbarn zugunsten des Beschwerdeführers davon aus, dass diese kein Schreien bezeugen könnten. Der Beschwerdeführer vermag nicht darzutun, dass die Einvernahme dieser Personen zu einem anderen Beweisergebnis geführt hätte.
3. 3.1 Der Beschwerdeführer rügt in weitschweifigen Ausführungen (Beschwerde, S. 5-41 und S. 44-46) eine offensichtlich unrichtige Sachverhaltsfeststellung bzw. eine willkürliche Beweiswürdigung sowie die Verletzung des Grundsatzes "in dubio pro reo". Er beanstandet, die Vorinstanz habe verschiedene Widersprüche in den Aussagen der Beschwerdegegnerin 2 nicht beachtet. Dies betreffe einerseits die Angaben über Ort und Zeitpunkt sowie die Häufigkeit der sexuellen Übergriffe, andererseits die Aussagen zu den Schlägen, die Probleme innerhalb der Familie und die Frage der Aufenthaltsbewilligung der Beschwerdegegnerin 2. Die vorinstanzliche Auffassung sei daher klar aktenwidrig und lasse sich nicht mit dem Prinzip der freien Beweiswürdigung begründen. Dieses finde nur Anwendung, wenn die richterliche Überzeugung auf vernünftigen Gründen beruhe. Da Aussage gegen Aussage stehe, sei er aufgrund der Unschuldsvermutung freizusprechen.
3.2 Die Vorinstanz führt aus, das vorliegende Strafverfahren habe seinen Anfang genommen, indem die Beschwerdegegnerin 2 am 17. Februar 2008 mit einer blutenden Kopfverletzung aus der Wohnung ihrer Schwiegereltern zu den Nachbarn geflüchtet sei und diese die Polizei verständigt hätten. Sie sei zu diesem Zeitpunkt 19 Jahre alt gewesen, habe praktisch kein Deutsch gesprochen und habe weder Verwandte noch Bezugspersonen in der Schweiz gehabt. Es sei absurd und zynisch zu behaupten, sie habe angeblich falsche Vorwürfe hinsichtlich der körperlichen Missbräuche und sexuellen Übergriffe mit dem einzigen Motiv verbreitet, sich von der Familie des Beschwerdeführers zu lösen und eine unabhängige Aufenthaltsbewilligung in der Schweiz zu erhalten (angefochtenes Urteil, S. 13 und 19).
Die Beschwerdegegnerin 2 habe ihr teilweise differierendes Aussageverhalten und die darin enthaltenen Abweichungen nachvollziehbar erklärt. Ihre Aussagen seien inhaltlich detailliert, wirkten erlebt und seien daher überzeugend, während die Ausführungen des Beschwerdeführers in keiner Weise glaubhaft seien. Dessen Sachverhaltsdarstellungen stellten offensichtliche Schutzbehauptungen dar, indem er anfangs sämtliche Gewalttätigkeiten in Abrede gestellt habe, um später nachzuschieben, er sei ihr einmal auf den Kopf gestanden, um sie zu beruhigen (angefochtenes Urteil, S. 20 f.).
Es sei unbehelflich, wenn der Beschwerdeführer aus den Schilderungen in den verschiedenen Einvernahmen einzelne Ungereimtheiten in Details herausarbeite, um daraus eine allgemeine Unglaubhaftigkeit der gesamten Schilderung abzuleiten. Die Aussagen der Beschwerdegegnerin 2 sprächen klar gegen eine pauschale, möglichst schwere Belastung des Beschwerdeführers (angefochtenes Urteil, S. 14 ff.).
3.3 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Die Feststellung des Sachverhalts durch die Vorinstanz kann nur gerügt werden, wenn sie offensichtlich unrichtig, d.h. willkürlich im Sinne von <ref-law> ist (<ref-ruling> E. 1.2.2), oder wenn sie auf einer Verletzung von schweizerischem Recht im Sinne von <ref-law> beruht (<ref-law>). Die Rüge der offensichtlich unrichtigen Feststellung des Sachverhalts (<ref-law>) prüft das Bundesgericht ebenfalls unter den in <ref-law> vorgegebenen Bedingungen.
3.4 Der Beschwerdeführer, der die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss substantiiert darlegen, inwiefern die Voraussetzungen einer Ausnahme gemäss <ref-law> gegeben sind und das Verfahren bei rechtskonformer Ermittlung des Sachverhalts anders ausgegangen wäre. Der Beschwerdeführer kann sich nicht damit begnügen, den bestrittenen Feststellungen eigene tatsächliche Behauptungen gegenüberzustellen oder darzulegen, wie die Beweise seiner Ansicht nach zu würdigen gewesen wären. Vielmehr hat er klar und substantiiert aufzuzeigen, inwiefern die gerügten Feststellungen bzw. die Unterlassung von Feststellungen offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen. Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, ist nicht einzutreten (<ref-ruling> E. 2.4).
3.5 Was der Beschwerdeführer gegen die tatsächlichen Feststellungen der Vorinstanz einwendet, erschöpft sich in einer blossen appellatorischen Kritik am angefochtenen Urteil, die für die Begründung einer willkürlichen Feststellung des Sachverhalts nicht genügt. Er zeigt nicht auf, inwiefern er glaubhaft bzw. die Beschwerdegegnerin 2 unglaubhaft ausgesagt haben soll und deshalb nicht auf deren Aussagen abzustellen wäre. Die langwierigen Ausführungen zur mutmasslichen Tageszeit der sexuellen Übergriffe sind unbehelflich, zumal sich die angeblichen Widersprüche damit erklären, dass die Übergriffe im Kosovo tagsüber, in der Schweiz jedoch am Abend bzw. in der Nacht stattfanden und die genauen Zeiten bei der Vielzahl der Übergriffe auch nicht entscheidend sind.
Ebenso irrelevant erweisen sich die angeblichen Widersprüche bezüglich der Frage, in welchen Lokalitäten - an der B._strasse oder der C._strasse in D._ - der Beschwerdeführer die Beschwerdegegnerin 2 geschlagen hat. Die Vorinstanz führt hierzu zutreffend aus, dass es einerseits unklar sei, was die Beschwerdegegnerin 2 unter "zu Hause" verstanden habe, da sie an der einen Adresse gewohnt und an der anderen lediglich übernachtet habe. Zum anderen führe es zu weit, die zahlreichen Vorfälle, die sich über ein halbes Jahr erstreckt hätten, mehr als ein Jahr später so detailliert zu beschreiben (angefochtenes Urteil, S. 15).
Die Vorbringen des Beschwerdeführers im Zusammenhang mit dem angeblichen Motiv der Beschwerdegegnerin 2, ihn schwer zu belasten um länger in der Schweiz bleiben zu können, beschränken sich auf Hypothesen und Mutmassungen, die wie die übrigen Ausführungen des Beschwerdeführers nicht geeignet sind, offensichtlich erhebliche und nicht zu unterdrückende Zweifel an der ausführlichen und sorgfältigen Sachverhaltsfeststellung der Vorinstanz darzutun. Auf seine Beschwerde ist insoweit nicht einzutreten.
4. Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Kosten (<ref-law>). Der Beschwerdegegnerin 1 ist keine Entschädigung zuzusprechen (<ref-law>). Der Beschwerdegegnerin 2 steht ebenfalls keine Entschädigung zu, da ihr im bundesgerichtlichen Verfahren keine Umtriebe entstanden sind (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Strafkammer, schriftlich mitgeteilt.
Lausanne, 31. Mai 2011
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Mathys Keller