Sachverhalt:
A. Am 3. April 2003 sprach das Bezirksgericht Zürich X._ der mehrfachen Vergewaltigung, der mehrfachen sexuellen Nötigung, der Freiheitsberaubung, der mehrfachen Drohung und weiterer Delikte schuldig und bestrafte ihn mit 3 3⁄4 Jahren Zuchthaus, als Zusatzstrafe zum Urteil des Einzelrichteramts des Kantons Zug vom 9. November 2001. Auf Berufung von X._ bestätigte das Obergericht des Kantons Zürich dieses Urteil am 17. März 2005 im Schuldspruch (mit Ausnahme der Tätlichkeiten sowie der mehrfachen Tatbegehung bei der Vergewaltigung, der sexuellen Nötigung und der Drohung) und im Strafmass. Mit Beschluss vom 20. Juni 2006 hob das Kassationsgericht des Kantons Zürich das Berufungsurteil in Gutheissung der Nichtigkeitsbeschwerde von X._ auf und wies die Sache zur Neuentscheidung an die Vorinstanz zurück.
B. Am 18. Dezember 2006 fällte das Obergericht im Schuldpunkt ein unverändertes Urteil und reduzierte die Strafe auf 2 3⁄4 Jahre Zuchthaus. Gegen dieses zweite Berufungsurteil erhob X._ wiederum kantonale Nichtigkeitsbeschwerde, welche vom Kassationsgericht mit Zirkulationsbeschluss vom 13. Februar 2008 abgewiesen wurde, soweit darauf eingetreten werden konnte.
C. Mit Beschwerde in Strafsachen beantragt X._, Ziff. 1, 3, 6 7 und 8 des Urteils des Obergerichts des Kantons Zürich vom 18. Dezember 2006 seien aufzuheben und die Angelegenheit sei zur neuen Beurteilung an die Vorinstanz zurückzuweisen. Eventuell sei er bezüglich des Vorwurfs der einfachen Körperverletzung sowie der Widerhandlung gegen das Bundesgesetz über Aufenthalt und Niederlassung der Ausländer im Sinne von Art. 23 Abs. 1 al. 5 ANAG freizusprechen. Im Übrigen sei das Strafverfahren einzustellen. Subeventuell sei er zu einer bedingten Freiheitsstrafe von höchstens 14 Monaten zu verurteilen (als Zusatzstrafe zum Urteil des Einzelrichteramtes des Kantons Zug vom 9. November 2001).
Am 28. März 2007 hatte X._ eidgenössische Nichtigkeitsbeschwerde erhoben und beantragt, das Urteil des Obergerichts vom 18. Dezember 2006 sei in Bezug auf die Strafzumessung aufzuheben und die Sache insoweit an die Vorinstanz zurückzuweisen.

Erwägungen:
1. Am 1. Januar 2007 ist das Bundesgerichtsgesetz (BGG) in Kraft getreten. Dieses ist auf Beschwerdeverfahren vor dem Bundesgericht nur anwendbar, wenn auch der angefochtene Entscheid nach seinem Inkraftreten ergangen ist (<ref-law>).
Das angefochtene Urteil der Vorinstanz datiert vor dem Inkrafttreten des Bundesgerichtsgesetzes und ist daher übergangsrechtlich für sich genommen mit eidgenössischer Nichtigkeitsbeschwerde anfechtbar (<ref-law> e contrario), welche der Beschwerdeführer denn auch erhoben hat. Dies ist indessen nicht entscheidend. Massgebend ist, dass der Entscheid des Kassationsgerichts nach dem Inkrafttreten des Bundesgerichtsgesetzes ergangen ist, das Verfahren der Beschwerde gegen diesen Entscheid sich somit nach dem Bundesgerichtsgesetz richten würde und dieses in <ref-law> die Mitanfechtung des Obergerichtsurteils zulässt. <ref-law> ist mithin auch anwendbar, wenn der mit einem ausserordentlichen kantonalen Rechtsmittel angefochtene Entscheid des oberen kantonalen Gerichts vor dem Inkrafttreten des Bundesgerichtsgesetzes ergangen ist (Urteil 6B_23/2008 vom 23. Mai 2008, E. 1.2 mit Hinweisen).
Auf die Beschwerde vom 11. April 2008 kann somit eingetreten werden, wobei die frühere, als eidgenössische Nichtigkeitsbeschwerde eingereichte Eingabe vom 28. März 2007 als Bestandteil der Beschwerde in Strafsachen zu betrachten ist (Urteil 6B_23/2008 E. 1.3.3).
2. 2.1 Wie die frühere eidgenössische Nichtigkeitsbeschwerde dient die Beschwerde in Strafsachen der Überprüfung des vorinstanzlichen Entscheides. Das Bundesgericht prüft namentlich, ob die kantonale Instanz das Bundesrecht richtig angewendet hat, mithin das Recht, welches im Zeitpunkt der Ausfällung des angefochtenen Urteils gegolten hat (<ref-ruling> E. 5.3 S. 52). Soweit der Beschwerdeführer geltend macht, bei einzelnen Straftaten sei in der Zwischenzeit die Verjährung eingetreten, ist deshalb auf die Beschwerde nicht einzutreten.
2.2 Nachdem das vorinstanzliche Urteil am 18. Dezember 2006 ausgefällt wurde, ist der am 1. Januar 2007 in Kraft getretene revidierte Allgemeine Teil des Strafgesetzbuches nicht anwendbar. Die Frage des milderen Rechts gemäss <ref-law> stellt sich deshalb entgegen der Auffassung des Beschwerdeführers nicht.
3. 3.1 Der Beschwerdeführer macht geltend, die Vorinstanz habe die Verletzung des Beschleunigungsgebotes bei der Strafzumessung falsch gewichtet, indem sie das Strafmass von 4 1⁄4 Jahren Zuchthaus (unter Berücksichtigung der Zusatzstrafe zum Urteil des Einzelrichteramts des Kantons Zug) lediglich um 12 Monate auf 3 1⁄4 Jahre reduzierte. Wegen der Schwere der Verletzung, welche zudem durch den Staat zu vertreten sei, erscheine mindestens eine Strafmilderung, wenn nicht sogar ein Verzicht auf eine Strafe oder das Nichteintreten auf die Anklage als angemessen.
3.1.1 Die Vorinstanz hält fest, der Beschwerdeführer habe das zu beurteilende Hauptdelikt am 10. Dezember 2000 begangen. Seither seien somit rund 6 Jahre vergangen. Das Untersuchungs- und das erstinstanzliche Verfahren seien zweifellos innert angemessener Frist mit Urteil des Bezirksgerichtes vom 3. April 2003 abgeschlossen worden. Eine erste Verzögerung habe sich anschliessend zunächst deshalb ergeben, weil die Berufungsinstanz am 26. Februar 2004 ein psychiatrisches Gutachten über den Beschwerdeführer angeordnet habe, weshalb das erste - unterdessen aufgehobene - zweitinstanzliche Urteil erst am 17. März 2005 habe gefällt werden können. Dennoch habe die Berufungsinstanz das erstinstanzliche Strafmass bestätigt, weil sie das Tatverschulden hinsichtlich des Vorfalls vom 10. Dezember 2000 schwerer eingestuft habe. Seit Erlass dieses Urteils seien aber erneut rund 1 Jahr und 9 Monate verstrichen. Diese Verfahrensverzögerung habe nicht der Beschwerdeführer zu verantworten, vielmehr sei sie auf einen Verfahrensfehler der Untersuchung zurückzuführen, welche weder das Bezirksgericht noch die Rechtsmittelinstanz im ersten Berufungsverfahren erkannt hätten. Das Beschleunigungsgebot sei somit verletzt worden, was sich strafmindernd auswirken müsse.
3.1.2 Diese Erwägungen der Vorinstanz sind nicht zu beanstanden. Von einer "äusserst schweren" Verletzung des Beschleunigungsgebotes kann keine Rede sein. Es ist zu beachten, dass den Behörden nicht eine Untätigkeit vorgeworfen wird. Die lange Dauer ist zum einen darauf zurückzuführen, dass die Berufungsinstanz am 26. Februar 2004 eine psychiatrische Begutachtung des Beschwerdeführers anordnete, weshalb das Urteil erst rund ein Jahr später (am 17. März 2005) gefällt werden konnte. Das Verfahren verlängerte sich in der Folge, weil der Beschwerdeführer kantonale Nichtigkeitsbeschwerde einreichte, welche vom Kassationsgericht am 20. Juni 2006 gutgeheissen wurde. Drei Monate später - am 18. Dezember 2006 - erging das heute angefochtene vorinstanzliche Urteil. Soweit dadurch das Beschleunigungsgebot verletzt worden ist, kann sich dies unter den gegebenen Umständen bei der Strafzumessung nicht erheblich auswirken. Auf jeden Fall hat die Vorinstanz das ihr zustehende Ermessen nicht überschritten. Die Rüge der unangemessenen Berücksichtigung der Verletzung des Beschleunigungsgebotes (<ref-ruling> E. 5.2 S. 332) ist verfehlt.
3.2 Der Beschwerdeführer bringt vor, die Vorinstanz habe Art. 64 aStGB verletzt, indem sie nicht berücksichtigte, dass sowohl die einfache Körperverletzung als auch das Vergehen gegen das Bundesgesetz über Aufenthalt und Niederlassung der Ausländer unmittelbar vor der Verjährung stünden. Die Vorfälle hätten zum Zeitpunkt des vorinstanzlichen Urteils sechs Jahre zurückgelegen, was sich strafmildernd auswirken müsse.
Die vom Beschwerdeführer angeführten Straftaten sind im Vergleich zu den Hauptdelikten der Vergewaltigung, der sexuellen Nötigung und der Freiheitsberaubung von untergeordneter Bedeutung. Dies gilt namentlich auch für den Vorwurf der am 13. April 2001 begangenen einfachen Körperverletzung, für welche Tat die Vorinstanz die Strafe wegen des alkoholisierten Zustandes des Beschwerdeführers gemildert hat. Eine zusätzliche Strafmilderung im Sinne von Art. 64 zweitletzter Absatz aStGB (vgl. dazu <ref-ruling>) könnte sich demgemäss nur geringfügig auswirken, weshalb die von der Vorinstanz ausgefällte Freiheitsstrafe immer noch angemessen und im Ergebnis nicht bundesrechtswidrig erscheint. Die Rüge ist deshalb unberechtigt.
3.3 Der Beschwerdeführer macht schliesslich geltend, dem angefochtenen Urteil sei keine Gesamtstrafe im Sinne von Art. 68 Ziff. 2 aStGB zu entnehmen. Diese Bestimmung wolle sicherstellen, dass der Täter durch die getrennte Beurteilung der Taten weder schlechter noch besser gestellt werde. Ob dies gewährleistet sei, lasse sich nur bei korrekter Zusatzstrafenbildung beurteilen. Weil diese Ausscheidung von Gesamt- und Zusatzstrafe fehle, sei die Strafzumessung im Einzelnen nicht nachvollziehbar.
3.3.1 Hat der Richter eine mit Freiheitsstrafe bedrohte Tat zu beurteilen, die der Täter begangen hat, bevor er wegen einer andern Tat zu einer Freiheitsstrafe verurteilt worden ist, so bestimmt er nach Art. 68 Ziff. 2 aStGB die Strafe so, dass der Täter nicht schwerer bestraft wird, als wenn die mehreren strafbaren Handlungen gleichzeitig beurteilt worden wären. Bei der Festsetzung der Zusatzstrafe zu einer ergangenen Grundstrafe hat sich der Richter vorerst zu fragen, welche Strafe er im Falle einer gleichzeitigen Verurteilung in Anwendung von Art. 68 Ziff. 1 aStGB ausgesprochen hätte. Ausgehend von dieser hypothetischen Gesamtbewertung bemisst er anschliessend unter Beachtung der rechtskräftigen Grundstrafe die Zusatzstrafe. Dabei ergibt sich die für die neu zu beurteilende Straftat auszufällende Zusatzstrafe aus der Differenz zwischen der hypothetischen Gesamtstrafe und der Grundstrafe. Bei der retrospektiven Konkurrenz hat der Richter ausnahmsweise mittels Zahlenangaben offen zu legen, wie sich die von ihm zugemessene Strafe quotenmässig zusammensetzt (<ref-ruling>02 E. 8.3 S. 105 mit Hinweisen).
3.3.2 Es trifft zu, dass die Vorinstanz in ihrem Urteil nicht ausdrücklich erwähnt, von welcher hypothetischen Gesamtstrafe sie ausgeht. Sie hält fest, gestützt auf Art. 68 Ziff. 2 aStGB sei eine Zusatzstrafe zum Strafbefehl des Einzelrichteramtes des Kantons Zug vom 9. November 2001 auszufällen, wobei sie auf die Ausführungen im erstinstanzlichen Urteil verweist. Die erste Instanz führt aus, bei der Bemessung der Zusatzstrafe bleibe der Entscheid des Einzelrichteramtes des Kantons Zug von 6 Monaten Gefängnis unangetastet und der Beschwerdeführer dürfe nicht schwerer bestraft werden, als wenn alle Taten miteinander beurteilt worden wären (vgl. erstinstanzliches Urteil S. 45). Mit diesen Erwägungen ist offensichtlich, dass die Vorinstanz von einer hypothetischen Gesamtstrafe von 3 1⁄4 Jahren ausgeht und nach Abzug der Grundstrafe von 6 Monaten auf die ausgefällte Zusatzstrafe von 2 3⁄4 Jahren Zuchthaus gelangt. Wenngleich es entgegen der erwähnten Rechtsprechung an einer ausdrücklichen Bezifferung fehlt, kann über die quotenmässige Zusammensetzung kein Zweifel bestehen, weshalb die Begründung im vorinstanzlichen Urteil im Ergebnis nicht zu beanstanden ist.
4. Demnach ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens sind die bundesgerichtlichen Kosten dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Strafkammer, schriftlich mitgeteilt.
Lausanne, 9. Juli 2008
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Schneider Binz