Sachverhalt:
A. Das Bezirksgericht Zürich sprach X._ am 20. Oktober 2006 der Vergewaltigung im Sinne von Art. 190 Abs. 1 StGB schuldig und verurteilte ihn zu einer Zuchthausstrafe von vier Jahren unter Anrechnung von 22 Tagen Untersuchungshaft.
Dagegen erhob X._ Berufung, beschränkt auf die Frage der Strafzumessung und jene des bedingten Strafvollzugs.
B. Das Obergericht des Kantons Zürich stellte am 21. September 2007 fest, das Urteil des Bezirksgerichts sei hinsichtlich des Schuldpunktes wegen Vergewaltigung in Rechtskraft erwachsen, und bestrafte X._ mit einer Freiheitsstrafe von 3 1/2 Jahren unter Anrechnung von 22 Tagen Untersuchungshaft.
C. X._ führt gegen das Urteil des Obergerichts vom 21. September 2007 Beschwerde in Strafsachen mit dem Antrag, das angefochtene Urteil sei aufzuheben und die Sache zu neuer Beurteilung und Entscheidung an die Vorinstanz zurückzuweisen.
Vernehmlassungen wurden nicht eingeholt.

Das Bundesgericht zieht in Erwägung:
1. Die Beschwerde richtet sich ausschliesslich gegen die Strafzumessung. Nach Ansicht des Beschwerdeführers ist unklar, ob die an das Opfer geleistete Zahlung von Fr. 10'000.-- strafmildernd oder strafmindernd veranschlagt werde. Weiter wendet er sich gegen die Ausführungen zum Geständnis. Die Feststellung, es sei erst zu einem späten Zeitpunkt erfolgt, sei willkürlich. Unklar bleibe, weshalb das Geständnis ihm nur in geringem Masse zu Gute gehalten werde. Ferner lasse die Vorinstanz völlig unberücksichtigt, dass die Verfahrensdauer zwischen der erst- und zweitinstanzlichen Hauptverhandlung das Beschleunigungsgebot verletze.
Der Beschwerdeführer beanstandet das Strafmass im Hinblick auf die Frage nach dem bedingten Strafvollzug (Art. 42 StGB). Diese Bestimmung habe die Vorinstanz verletzt. Sie hätte sich - wie unter altem Recht - mit der Frage auseinander setzen müssen, ob angesichts der persönlichen Verhältnisse des Schuldigen der vollständige Vollzug einer unbedingten Freiheitsstrafe nicht dem Zweck der Verbrechensverhütung zuwiderlaufe.
2. 2.1 Das Bundesgericht hat die Grundsätze der Strafzumessung und die an sie gestellten Anforderungen wiederholt dargestellt. Darauf kann hier verwiesen werden (vgl. nur <ref-ruling> E. 2.1 S. 19 f.; <ref-ruling> E. 6.1 S. 20 f.; <ref-ruling> E. 2c S. 105, je mit Hinweisen).
2.2 Die Vorinstanz hat sich in ihren einlässlichen Erwägungen zur Strafzumessung mit den wesentlichen schuldrelevanten Komponenten ausführlich auseinandergesetzt. Dass sie sich von rechtlich nicht massgebenden Kriterien hätte leiten lassen oder wesentliche Gesichtspunkte nicht berücksichtigte hätte, ist nicht ersichtlich und wird in der Beschwerde auch nicht beanstandet. Insoweit kann ohne weiteres auf die Ausführungen im angefochtenen Entscheid verwiesen werden. Nachfolgend bleibt, auf die Vorbringen des Beschwerdeführers im Einzelnen einzugehen.
2.2 Die Vorinstanz hat sich in ihren einlässlichen Erwägungen zur Strafzumessung mit den wesentlichen schuldrelevanten Komponenten ausführlich auseinandergesetzt. Dass sie sich von rechtlich nicht massgebenden Kriterien hätte leiten lassen oder wesentliche Gesichtspunkte nicht berücksichtigte hätte, ist nicht ersichtlich und wird in der Beschwerde auch nicht beanstandet. Insoweit kann ohne weiteres auf die Ausführungen im angefochtenen Entscheid verwiesen werden. Nachfolgend bleibt, auf die Vorbringen des Beschwerdeführers im Einzelnen einzugehen.
2.3 2.3.1 Der Beschwerdeführer wendet ein, es bleibe unklar, ob die tätige Reue in Form der geleisteten Zahlung an das Opfer strafmildernd oder strafmindernd berücksichtigt werde.
Der Strafmilderungsgrund der tätigen Reue im Sinne von Art. 48 lit. d StGB bewirkt, dass das Gericht an die angedrohte Mindeststrafe nicht gebunden ist (Art. 48a Abs. 1 StGB). Die Vorinstanz führt aus, dass der Strafrahmen von einem bis zehn Jahre Freiheitsstrafe wegen der tätigen Reue unterschritten werden könnte (angefochtenes Urteil, Ziff. 1.4 S. 9). Mit der Ausfällung einer Freiheitsstrafe von 3 1/2 Jahren hat sie den Strafrahmen offensichtlich nicht unterschritten. Die Vorinstanz war denn auch nur gehalten, den Strafmilderungsgrund zumindest strafmindernd zu berücksichtigen (<ref-ruling> E. 1b S. 55; <ref-ruling> E. 2b/bb S. 303 mit Hinweisen), was sie getan hat. Im Zusammenhang mit der subjektiven Tatschwere hält sie ausdrücklich und unmissverständlich fest, dass die tätige Reue dem Beschwerdeführer strafmindernd zu Gute zu halten sei (angefochtenes Urteil, Ziff. 1.5.2 k S. 15). Der Einwand in der Beschwerde ist verfehlt.
2.3.2 Der Beschwerdeführer kritisiert, die Ausführungen im angefochtenen Entscheid zu seinem Geständnis seien willkürlich und verletzten materielles Bundesrecht.
Nach den Feststellungen der Vorinstanz war der Beschwerdeführer während des Grossteils der Untersuchung nicht geständig. Statt dessen behauptete er anfänglich, er sei von seiner Nichte bzw. dem Opfer zum Beischlaf gezwungen worden. Erst rund neun Monate nach der Tat legte der Beschwerdeführer ein Geständnis in schriftlicher Form ab. Die Vorinstanz nimmt an, angesichts des späten Zeitpunktes sei ihm das Geständnis nur in geringem Masse zu Gute zu halten (angefochtenes Urteil, Ziff. 3.3 S. 17).
Die Feststellung zum Zeitpunkt des Geständnisses ist offensichtlich nicht unhaltbar. Ebenso wenig ist ersichtlich, inwiefern die Vorinstanz unter den dargelegten Umständen dem Geständnis nicht ausreichend Rechnung getragen hätte. Eine Ermessensverletzung ist zu verneinen.
2.3.3 Der Beschwerdeführer rügt eine Verletzung des Beschleunigungsgebots, weil zwischen der erst- und zweitinstanzlichen Hauptverhandlung annährend ein Jahr verstrichen sei.
Dem angefochtenen Urteil sind folgende Verfahrensschritte zu entnehmen: Der Beschwerdeführer erklärte am 26. Oktober 2006 Berufung. Am 3. Januar 2007 stellte er seine Anträge. Mit Präsidialverfügung vom 7. Februar 2007 wurde die Berufungserklärung den Verfahrensbeteiligten zugestellt und ihnen Frist zur Anschlussberufung und Nennung der Beanstandungen angesetzt. Am 11. April 2007 wurden die Akten an die Vorinstanz überwiesen. Mit Eingabe vom 30. April 2007 ersuchte der amtliche Verteidiger um Entlassung. Mit Präsidialverfügung vom 10. Mai 2007 wurde dem Beschwerdeführer Frist angesetzt zur Stellung von Beweisanträgen sowie zur Bekanntgabe eines neuen amtlichen Verteidigers. Dieser wurde am 8. Juni 2007 bestellt. Am 21. September 2007 fand die Hauptverhandlung vor Obergericht statt (angefochtenes Urteil, S. 3 ff.). Bei dieser Sachlage kann von einer Verletzung des Beschleunigungsgebots keine Rede sein. Die Rüge geht fehl.
3. 3.1 Nach der Praxis des Bundesgerichts zum alten Recht war die Grenze von 18 Monaten für die Gewährung des bedingten Strafvollzugs (Art. 41 Ziff. 1 Abs. 1 aStGB) bei der Strafzumessung mit zu berücksichtigen, wenn eine Freiheitsstrafe von nicht erheblich längerer Dauer (bis zu 21 Monaten) in Betracht fiel und die Voraussetzungen des bedingten Vollzugs im Übrigen erfüllt waren (<ref-ruling> E. 3 S. 101; <ref-ruling> E. 2c S. 339 ff.). Der Richter hatte sich mit der Frage auseinander zu setzen, ob angesichts der persönlichen Verhältnisse des Schuldigen der Vollzug einer Freiheitsstrafe nicht dem Zweck der Verbrechensverhütung zuwiderlaufe. Nach Auffassung des Beschwerdeführers ist diese Rechtsprechung unter neuem Recht fortzuführen und zu erweitern, weil die Grenze, wo zumindest noch ein teilbedingter Strafvollzug zur Diskussion gestellt werden müsse, nicht bereits bei 3 1/2 Jahren ende.
3.2 Die dargelegte bundesgerichtliche Praxis kann nicht ins neue Recht übernommen werden, was in einem unlängst ergangenen Entscheid klargestellt wird (<ref-ruling> E. 3.6). Durch das neue, flexiblere Sanktionensystem verliert der Grenzwert für den bedingten Strafvollzug zum Teil seine einschneidende Bedeutung, welche der früheren Praxis bei Strafen von nicht erheblich mehr als 18 Monaten zu Grunde lag. Freiheitsstrafen, die zwei Jahre übersteigen, müssen zum Schuldausgleich teilweise vollstreckt werden, selbst wenn ihr vollständiger Aufschub unter spezialpräventiven Gesichtspunkten vorzuziehen wäre. Bei Freiheitsstrafen von mehr als drei Jahren kommt nur der vollständige Vollzug in Frage. Auch die relativ flexible Regelung im neuen Sanktionensystem sieht notwendigerweise objektive und starre Grenzen vor. Der Gesetzgeber hat diese neu festgesetzt in der offenkundigen Meinung, dass damit der Bereich des Vorranges spezialpräventiver Gesichtspunkte klar umschrieben wird (BGE, a.a.O., E. 3.3).
Damit wird nicht ausgeschlossen, dass folgenorientierte Überlegungen in die Strafzumessung einfliessen, bei welcher dem Richter ein weites Ermessen zusteht. Namentlich verlangt Art. 47 Abs. 1 StGB, bei der Festlegung der Strafe deren Wirkung auf das Leben des Täters zu berücksichtigen. Ob und wie weit dieser Strafminderungsgrund zum Tragen kommt, hängt von den konkreten Umständen ab und ist an sich unabhängig von der Höhe der Strafe. Erforderlich ist eine Strafzumessung, die alle wesentlichen Umstände berücksichtigt, wobei der Richter sein pflichtgemässes Ermessen auszuüben und gleichzeitig die klaren gesetzlichen Schranken zu beachten hat. Mit der Festlegung einer Obergrenze hat der Gesetzgeber zu erkennen gegeben, dass der Täter, gegen welchen eine Strafe jenseits dieses Grenzbereichs auszusprechen ist, die nachteiligen Auswirkungen des Strafvollzugs auf sich zu nehmen hat (zum Ganzen BGE, a.a.O., E. 3.4 - 3.5).
3.3 Die Vorinstanz erkennt nach einlässlicher Strafzumessung auf eine Freiheitsstrafe von 3 1/2 Jahren, welche die gesetzliche Obergrenze für den teilbedingten Strafvollzug mithin um sechs Monate übersteigt (Art. 43 Abs. 1 StGB). Dabei hat sie den Gesichtspunkt der Strafempfindlichkeit sowie die Auswirkungen des Vollzugs einer längeren Freiheitsstrafe auf das Leben des Beschwerdeführers ausdrücklich geprüft (angefochtenes Urteil, Ziff. 1.5.2 n S. 16 und Ziff. 3.4 S. 18). Sie kommt unter dem Titel "Strafe/Strafvollzug" zum Schluss, dass unter Würdigung aller Umstände keine Veranlassung bestehe, an der Freiheitsstrafe von 3 1/2 Jahren eine Korrektur vorzunehmen (angefochtenes Urteil, Ziff. 4 S. 18). Damit bringt sie zum Ausdruck und begründet, weshalb sie eine Freiheitsstrafe im Grenzbereich zum teilbedingten Strafvollzug ausschliesst bzw. eine solche für nicht mehr angemessen hält. Die Erwägungen der Vorinstanz sind ohne weiteres nachvollziehbar und das ihr zustehende Ermessen hat sie nicht überschritten. Eine Rechtsverletzung liegt nicht vor.
4. Die Beschwerde ist als unbegründet abzuweisen. Entsprechend dem Verfahrensausgang sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Strafkammer, schriftlich mitgeteilt.
Lausanne, 18. März 2008
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Schneider Willisegger