Sachverhalt:
A. A.a Am 20. Dezember 2005 schied die Einzelrichterin des Bezirksgerichts Affoltern die Ehe von X._ (Ehemann) und Z._ (Ehefrau). Sie regelte die Kinderbelange, den nachehelichen Unterhalt für die Ehefrau und den Vorsorgeausgleich. Die güterrechtliche Auseinandersetzung wurde in ein eigenes Verfahren verwiesen. Dieses Teilurteil ist in Rechtskraft erwachsen.
A.b In einem weiteren Urteil vom 20. Dezember 2006 befand die Einzelrichterin über die güterrechtliche Auseinandersetzung. Sie verpflichtete X._ zur Zahlung von Fr. 132'565.10 an Z._. Auf Berufung beider Parteien setzte das Obergericht des Kantons Zürich diesen Betrag am 20. September 2007 auf Fr. 126'011.35 fest. Strittig waren die güterrechtliche Abrechnung über die Liegenschaft A._ sowie verschiedene weitere Positionen im Vermögen der Parteien.
A.c Das Kassationsgericht des Kantons Zürich trat auf die gegen das obergerichtliche Urteil erhobene Nichtigkeitsbeschwerde von X._ mit Zirkulationsbeschluss vom 2. Oktober 2008 nicht ein und hiess diejenige von Z._ gut. Es legte die Kosten- und Entschädigungsfolgen des erst- und zweitinstanzlichen Verfahrens neu fest.
B. X._ (nachfolgend: Beschwerdeführer) ist mit Beschwerde in Zivilsachen vom 10. November 2008 an das Bundesgericht gelangt. Er beantragt die Aufhebung des obergerichtlichen Urteils in der Sache sowie die Verpflichtung von Z._ (nachfolgend: Beschwerdegegnerin), ihn aus Güterrecht mit Fr. 9'951.75 zu entschädigen. Eventualiter verlangt er die Aufhebung des obergerichtlichen Urteils. Subeventualiter beantragt er die Aufhebung des Beschlusses des Kassationsgerichts. Die Beschwerdegegnerin schliesst auf Nichteintreten, gegebenenfalls auf Abweisung der Beschwerde insgesamt.
Das Obergericht und das Kassationsgericht haben auf eine Vernehmlassung verzichtet.
Mit Verfügung vom 24. November 2008 erteilte der Präsident der II. zivilrechtlichen Abteilung der Beschwerde die aufschiebende Wirkung.
Erwägungen:
1. 1.1 Anlass zur vorliegenden Beschwerde geben Fragen aus dem ehelichen Güterrecht, weshalb eine Zivilsache mit Vermögenswert vorliegt (Art. 72 Abs. 1 BGG). Die gesetzliche Streitwertgrenze ist überschritten (Art. 74 Abs. 1 lit. b BGG). Die Beschwerde in Zivilsachen ist damit gegeben.
1.2 Angefochten ist sowohl das obergerichtliche Urteil als auch der kassationsgerichtliche Beschluss. Dem Obergericht wirft der Beschwerdeführer eine Verletzung von Bundesrecht vor. Das Bundesgericht tritt auf eine solche Rüge ein, womit sie dem Kassationsgericht nicht hätte unterbreitet werden können (Art. 95 lit. a BGG, § 285 Abs. 1 ZPO/ZH). Damit erweist sich das obergerichtliche Urteil als letztinstanzlich und die Beschwerde als zulässig (Art. 75 Abs. 1 BGG). Dem Kassationsgericht wirft der Beschwerdeführer vor, sich mit seinen Argumenten nicht auseinandergesetzt zu haben. Er beantragt daher subeventualiter, dessen Beschluss ebenfalls aufzuheben. Zwar erweist sich auch dieser hinsichtlich der sinngemäss erhobenen Rüge der Gehörsverletzung als letztinstanzlich. Indes wird aus den Vorbringen des Beschwerdeführers nicht klar, mit welchen seiner Argumente sich das Kassationsgericht nicht auseinandergesetzt haben soll. Mangels rechtsgenüglicher Begründung der erhobenen Rüge ist auf die Beschwerde gegen den Beschluss des Kassationsgerichts nicht einzutreten (Art. 42 Abs. 2 BGG).
1.3 Die Beschwerde wurde innert 30 Tagen ab Erhalt des kassationsgerichtlichen Beschlusses und nicht etwa des obergerichtlichen Urteils eingereicht. Es ist daher zu prüfen, wann die Beschwerdefrist zu laufen begonnen hatte (Art. 100 Abs. 6 BGG). Das Kassationsgericht trat auf die Nichtigkeitsbeschwerde des Beschwerdeführers gestützt auf § 285 ZPO/ZH nicht ein, da er ausschliesslich die Rechtsanwendung durch das Obergericht als willkürlich gerügt habe und dem Bundesgericht die freie Prüfung der Anwendung von Bundesrecht zukomme. Dieser Nichteintretensbeschluss erging somit, weil der Beschwerdeführer in seinem Haupt- und Eventualstandpunkt ausschliesslich Rügen vorgebracht hatte, welche das Kassationsgericht mangels Zuständigkeit nicht behandeln konnte.
Die Beschwerdegegnerin beantragt dem Bundesgericht, auf die Beschwerde in Zivilsachen nicht einzutreten. Ihrer Ansicht nach ist der vorliegende Nichteintretensentscheid des Kassationsgerichts infolge unzulässiger Rügen gleich zu behandeln wie ein Nichteintretensentscheid, der ergangen ist, weil das eingereichte Rechtsmittel als solches im Gesetz nicht vorgesehen ist.
Der Fristbeginn für die Beschwerde an das Bundesgericht ist in der Regel nicht vor der Behandlung des kantonalen Rechtsmittels anzusetzen. Dies gilt selbst dann, wenn eine an sich zulässige Rüge ungenügend begründet worden war und die kantonale Rechtsmittelinstanz darum nicht eintreten konnte (Urteil 4A_216/2008 vom 20. August 2008 E. 1.3). Das Bundesgericht auferlegt sich nämlich eine gewisse Zurückhaltung in der Annahme, dass Art. 100 Abs. 6 BGG nicht zur Anwendung gelangen soll, welche Praxis von der neueren Lehre begrüsst worden ist (DAVID RÜETSCHI, Aufforderung zur extensiven Auslegung von Art. 100 Abs. 6 BGG, Anwaltsrevue, 1/2009 S. 29). Eine Ausnahme macht es, sofern ein kantonales Rechtsmittel eingelegt worden ist, das im Gesetz nicht vorgesehen ist, oder wenn die Frist hiefür verpasst worden ist sowie im Fall eines offenbaren Rechtsmissbrauchs, etwa durch Einreichen einer Scheinbeschwerde an die kantonale Rechtsmittelinstanz zur faktischen Verlängerung der Beschwerdefrist an das Bundesgericht (BGE 134 III 92 E. 1.4 S. 96; Urteil 4A_216/2008 vom 20. August 2008 E. 1.2). Da keiner dieser Fälle vorliegend gegeben ist, wurde die Beschwerde in Zivilsachen gegen das obergerichtliche Urteil dem Bundesgericht fristgerecht eingereicht.
2. Strittig sind vorliegend einzig die güterrechtlichen Folgen der Rentenzahlung des Beschwerdeführers an seine Eltern. Die übrigen Positionen im Vermögen der Parteien werden vor Bundesgericht nicht mehr angefochten. Die güterrechtliche Auseinandersetzung richtet sich nach den Bestimmungen über die Errungenschaftsbeteiligung (Art. 196 ff. ZGB). Dabei werden nicht nur die vorhandenen Vermögenswerte der Errungenschaft und dem Eigengut jedes Ehegatten zugeordnet (Art. 207 Abs. 1 ZGB). Es sind auch die Schulden der Ehegatten einzubeziehen und insbesondere ist zu regeln, welche der Gütermassen diese definitiv zu tragen hat. Gemäss Art. 209 Abs. 2 ZGB belastet eine Schuld die Vermögensmasse, mit welcher sie sachlich zusammenhängt, zu der aufgrund ihres Ursprungs, Zwecks oder Inhalts eine Abhängigkeit besteht, im Zweifel aber die Errungenschaft (BGE 121 III 152 E. 3b S. 154). Ein Ehegatte ist mit Blick auf die Berechnung des Vorschlags keineswegs frei, zu Lasten welcher Masse er einer Verpflichtung nachkommen will (DESCHENAUX UND ANDERE, Les effets du mariage, Bern 2000, N. 1206 S. 491). So sind der Aufwand für den Unterhalt der Familie, einschliesslich der Altersvorsorge, sowie die Auslagen zur Erzielung des Erwerbseinkommens und die darauf lastenden Steuern von der Errungenschaft zu tragen. Der ordentliche Unterhalt von Vermögenswerten, wie beispielsweise Liegenschaften, ist dem Ertrag und damit der Errungenschaft zu belasten. Der ausserordentliche Unterhalt ist hingegen von der Gütermasse zu tragen, welcher der Vermögensgegenstand angehört. Daraus folgt, dass es nur bei Schulden, die nicht beim Einkommen anknüpfen, auf die Zuordnung eines Vermögenswertes in eine Gütermasse ankommt. Rühren Schulden vom Erwerb eines Vermögenswertes her, wie bei einer Hypothekarverpflichtung, einer Ausgleichszahlung oder einer Ersatzanschaffung, so sind sie von derjenigen Gütermasse zu tragen, in welche der Gegenstand gehört (HEINZ HAUSHEER UND ANDERE, Berner Kommentar, N. 24-27, 31 und 39 zu Art. 209 ZGB; DESCHENAUX UND ANDERE, a.a.O., N. 1212 ff. S. 493 ff.). Werden Schulden der Errungenschaft aus dem Eigengut oder Schulden des Eigengutes aus der Errungenschaft eines Ehegatten bezahlt, so besteht nach Art. 209 Abs. 1 ZGB bei der güterrechtlichen Auseinandersetzung eine Ersatzforderung. Wird beispielsweise der Lebensunterhalt der Familie einem Unternehmen belastet, welches dem Eigengut zuzuordnen ist, so steht dieser Masse eine Ersatzforderung gegen die Errungenschaft zu (Urteil 5C.171/2003 vom 11. November 2003 E. 1, in: FamPra ch. 2004 S. 377).
2.1 Der Beschwerdeführer erwarb gemäss öffentlich beurkundetem Vertrag vom 21. Dezember 1993 von seinem Vater die Liegenschaft A._ (Grundregisterblatt xxx, Plan xxx, Kat. Nr. xxx, umfassend ein Wohnhaus mit Hofraum und Garten sowie Grundregisterblatt xxx, Plan xxx, Kat. Nr. xxx, 1/8 subjektiv-dinglich verbundenes Miteigentum, umfassend eine Zufahrtsstrasse). Der Eigentumsübergang erfolgte als Erbvorbezug. Der Erwerber übernahm die mittels Grundpfand sichergestellten Schulden auf der Liegenschaft in der Höhe von insgesamt Fr. 515'000.--. Zudem räumte er seinem Vater und, bei dessen Vorversterben vor Eintritt eines Vorkaufsfalls, seinen Geschwistern ein limitiertes Vorkaufsrecht auf Lebzeiten ein. Schliesslich verpflichtete er sich zusammen mit seinen Geschwistern solidarisch, den Lebensunterhalt der Eltern durch Auszahlung einer monatlichen Rente von je Fr. 2'200.-- bis zum Tod des zweiten Elternteils sicherzustellen. Ein Übernahmewert wurde nicht festgelegt. Der damalige Verkehrswert der Liegenschaft betrug Fr. 1'341'000.--.
2.2 Der Erwerb der Liegenschaft A._ erweist sich damit als teilweise entgeltlicher Erbvorbezug. Die vom Beschwerdeführer übernommenen Verpflichtungen überschreiten den Verkehrswert der Liegenschaft selbst dann nicht, wenn die Rentenverpflichtung und die Belastung durch das unentgeltlich eingeräumte Vorkaufsrecht bei den Gegenleistungen mitberücksichtigt würden. Damit erweist sich die güterrechtliche Zuordnung der Liegenschaft in das Eigengut des Beschwerdeführers als bundesrechtskonform (Art. 198 Ziff. 2 ZGB; vgl. Urteile 5C.158/2006 vom 23. März 2007 E. 4.1, nicht publ. in: BGE 133 III 416; 5A_111/2007 vom 8. Januar 2008 E. 4.2.2).
2.3 Nach Auffassung der Erstinstanz ist im Hinblick auf die Rentenzahlungen des Beschwerdeführers an seine Eltern vom Nettoprinzip auszugehen. Demzufolge hat sie von den Erträgen der Liegenschaft A._ die substanzerhaltenden Unterhaltskosten, die Hypothekarzinsen und die genannten Rentenzahlungen in Abzug gebracht. Es könne nämlich nicht angehen, dass sämtliche Erträge aus der sich im Eigengut befindenden Liegenschaft in die Errungenschaft fallen, aus welcher die Rente an die Eltern des Beschwerdeführers geleistet werden müsse, und dann die Errungenschaft noch eine Ersatzforderung gegen das Eigengut habe. Das Obergericht kam demgegenüber zum Schluss, dass die Rente an die Eltern des Beschwerdeführers als objektbezogene Schuld sein Eigengut belaste und daher aufgrund von Art. 209 Abs. 2 ZGB von dieser Gütermasse zu tragen sei. Werde der Rentenverpflichtung aus Mitteln der Errungenschaft nachgekommen, so stehe dieser Gütermasse eine Ersatzforderung zu. Die Renten seien aus den Mietzinserträgen der Liegenschaft, mithin aus Mitteln der Errungenschaft überwiesen worden. Nach der in der Lehre vorgeschlagenen Nettoertragsmethode seien vom Ertrag des Eigengutes bloss die Hypothekarzinsen sowie die substanzerhaltenden Unterhaltskosten in Abzug zu bringen und der Rest falle in die Errungenschaft. Zudem komme es durch die Rentenzahlung noch nicht zu einem ausgleichspflichtigen Zusammenwirken zweier Gütermassen, wie beispielsweise bei der Rückzahlung einer Hypothek, welche eine Ersatzforderung im Sinne von Art. 209 Abs. 3 ZGB begründe. Die in Frage stehende Rentenschuld sei unabhängig vom Wert der Liegenschaft begründet worden. Sie stelle keine ertragsschmälernde Investition in die Liegenschaft dar, sondern bilde vielmehr eine gewisse Gegenleistung für deren Erwerb, ähnlich einer gemischten Schenkung. Daher komme die Nettoertragsmethode nicht zur Anwendung. Für die Berechnung der Ersatzforderung sei der tatsächlich bezahlte Betrag massgebend und nicht der kapitalisierte Rentenwert, der ein bloss theoretischer Schätzwert, beruhend auf statistischen Wahrscheinlichkeiten, sei. Die Ersatzforderung sei daher aufgrund der Rentenzahlungen ab 1. Januar 1994 bis zur Einreichung der Scheidungsklage am 19. Juli 2004 zu bemessen. Der gerundete Totalbetrag von Fr. 279'000.-- sei entsprechend dem klägerischen Begehren, das auf einer Wertverminderung der Liegenschaft basiere, auf Fr. 271'926.15 herabzusetzen. Der der Beschwerdegegnerin zustehende Vorschlagsanteil betrage nach der Qualifikation und Berechnung sämtlicher noch strittigen Vermögenswerte Fr. 126'011.35.
2.4 Demgegenüber besteht der Beschwerdeführer darauf, dass die Rentenzahlung an seine Eltern keine Eigengutsschuld darstelle und daher keine Ersatzforderung seiner Errungenschaft im Sinne von Art. 209 Abs. 1 ZGB auslöse. Es handle sich hiebei um eine Unterstützungsverpflichtung nach Art. 328 Abs. 1 ZGB, welche zudem noch andauere. Auf jeden Fall seien von den Erträgen der Liegenschaft vorerst die notwendigen Investitionen in Abzug zu bringen und nur der Nettoertrag als Errungenschaft zu betrachten. Es sei hinsichtlich der Rentenzahlungen so vorzugehen, als bestünde eine Nutzniessung oder ein Wohnrecht zu Gunsten seiner Eltern, welche Belastung wie eine substanzerhaltende Amortisation den Ertrag schmälere und daher zu keiner Ersatzforderung führe. Zudem habe die Liegenschaft einen Substanzverlust erlitten.
2.5 Die im vorliegenden Fall strittigen Rentenzahlungen gehen auf den am 21. Dezember 1993 verurkundeten Erbvorbezug zurück. Die darin getroffene Regelung zeigt, dass die Rentenverpflichtung in einem engem Zusammenhang mit dem Erwerb der Liegenschaft A._ steht. Unter dem Titel "Gegenleistungen" verpflichtete sich der Erwerber und heutige Beschwerdeführer einerseits zur Übernahme der Grundpfandschulden auf der Liegenschaft A._. Zudem verpflichtete er sich zusammen mit seinen fünf Geschwistern solidarisch, den Lebensunterhalt der Eltern durch eine monatliche Rente von insgesamt Fr. 13'200.--, mithin Fr. 2'200.-- pro Person, gemäss einer separaten Abmachung sicherzustellen. Die Geschwister haben ebenfalls Liegenschaften in Anrechnung an die künftige Erbschaft erhalten, wenn auch von unterschiedlichem Wert. Der Vorinstanz kann daher gefolgt werden, wenn sie die Rentenverpflichtung als Bestandteil der Abmachung über die Abtretung der Liegenschaft und zudem als Bedingung für den Erwerb versteht. Der Beschwerdeführer habe sich zu einer Gegenleistung verpflichtet, womit die Eigentumsübertragung in die Nähe einer gemischten Schenkung rücke. Hingegen liege keine Investition der Eltern in die Liegenschaft vor.
Güterrechtlich ist die Liegenschaft dem Eigengut des Beschwerdeführers zuzuordnen (E. 2.2). Da diese nicht von der Familie des Beschwerdeführers bewohnt wird, sondern ein Anlageobjekt darstellt, kann die Rentenleistung nicht als Teil der Wohn- und damit als Lebenshaltungskosten betrachtet und folglich der Errungenschaft belastet werden. Vielmehr ist die in Frage stehende Verpflichtung mit einer Ausgleichszahlung an die Miterben im Rahmen einer Erbteilung zu vergleichen, gründet sie doch im Erwerb der Liegenschaft. Die Rentenzahlungen des Beschwerdeführers belasten daher diejenige Gütermasse, welcher die Liegenschaft angehört, nämlich das Eigengut. Die entsprechenden Überweisungen wurden indes aus den Erträgen der Liegenschaft gemacht, welche in die Errungenschaft fallen (Art. 197 Abs. 2 Ziff. 4 ZGB). Damit steht der Errungenschaft des Beschwerdeführers gestützt auf Art. 209 Abs. 1 ZGB eine Ersatzforderung gegen sein Eigengut zu.
2.6 Die Vorinstanz legte die Höhe der Ersatzforderung anhand der tatsächlich geleisteten Beträge fest, da es um eine konkrete, rückwirkende Betrachtungsweise gehe. Dem Beschwerdeführer kann nicht gefolgt werden, wenn er im Sinne eines Eventualstandpunktes die Ersatzforderung auf die durch seine Überweisungen verminderte kapitalisierte Rentenschuld bemessen möchte. Vorliegend geht es einzig darum, die Zahlungen des Beschwerdeführers bis zur Auflösung des Güterstandes der zutreffenden Gütermasse zu belasten. Die weitere Verpflichtung des Beschwerdeführers gegenüber seinen Eltern ist hingegen nicht Gegenstand der güterrechtlichen Auseinandersetzung. Zudem berücksichtigte die Vorinstanz - entgegen der Behauptung des Beschwerdeführers - bei der güterrechtlichen Qualifikation der Liegenschaft, die auf den Zeitpunkt des Erwerbs vorzunehmen ist, die kapitalisierte Rentenschuld gerade nicht. Damit erweist sich die vorinstanzliche Vorschlagsberechnung als bundesrechtskonform.
3. Nach dem Gesagten ist der Beschwerde insgesamt kein Erfolg beschieden. Ausgangsgemäss trägt der Beschwerdeführer die Verfahrenskosten (Art. 66 Abs. 1 BGG). Er hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren angemessen zu entschädigen (Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 4'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 4'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Obergericht des Kantons Zürich, I. Zivilkammer, und dem Kassationsgericht des Kantons Zürich schriftlich mitgeteilt.
Lausanne, 3. April 2009
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Die Gerichtsschreiberin:
Hohl Gut