Sachverhalt:
A. X._ (Ehemann), geb. 1951, und Y._ (Ehefrau), geb. 1947, heirateten Mitte 1993 und trennten sich Mitte 1998. Die Ehe blieb kinderlos.
B. Am 23. Oktober 2006 schied das Bezirksgericht Hinwil die Ehe der Parteien und regelte die Nebenfolgen. Es sprach der Ehefrau keinen nachehelichen Unterhalt zu.
Demgegenüber verpflichtete das Obergericht des Kantons Zürich den Ehemann mit Urteil vom 25. Oktober 2006 zu nachehelichem Unterhalt von Fr. 2'400.-- pro Monat bis Juni 2011.
C. Dagegen hat der Ehemann am 27. November 2007 Beschwerde in Zivilsachen erhoben mit den Begehren, das angefochtene Urteil sei aufzuheben und der Ehefrau sei kein nachehelicher Unterhalt zuzusprechen, eventuell sei die Sache an die Vorinstanz zurückzuweisen. Es wurden keine Vernehmlassungen eingeholt.

Erwägungen:
1. Angefochten sind die Fr. 30'000.-- übersteigenden vermögensrechtlichen Folgen eines kantonal letztinstanzlichen Ehescheidungsurteils; auf die Beschwerde ist somit einzutreten (Art. 72 Abs. 1, Art. 74 Abs. 1 lit. b, Art. 75 Abs. 1 und Art. 90 BGG).
2. Nach den obergerichtlichen Feststellungen und Erwägungen lebten die Parteien seit 1981 oder 1982 zusammen. Indes könne eine Anrechnung der Konkubinatszeit nicht in Betracht fallen, weil die Ehefrau bis Ende 1994 zu 60-80% erwerbstätig gewesen sei und die Partner kinderlos geblieben seien. Demgegenüber ergebe sich aus verschiedenen Schreiben des Ehemannes, dass die Ehefrau nach der Trennung noch bis anfangs 2000 auf eine Wiedervereinigung habe hoffen dürfen, weshalb von einer massgebenden Ehedauer von gegen sieben Jahren auszugehen sei. Aus dem Umstand, dass die Ehefrau zweimal während der Schwangerschaft das Kind verloren habe, lasse sich keine Lebensprägung ableiten. Sodann sei weder die physische noch die psychische Beeinträchtigung ehebedingt. Hingegen ergebe sich eine Lebensprägung aus dem Umstand, dass die Ehefrau während der Ehe ihre Erwerbstätigkeit aufgegeben habe, um den gemeinsamen Haushalt zu führen. Als sie ab dem Jahr 2000 nicht mehr auf den Fortbestand der Ehe habe vertrauen dürfen, sei sie bereits 53-jährig gewesen. Heute sei sie 60-jährig, weshalb ihr unabhängig von der zur Zeit ausgerichteten vollen IV-Rente keine Erwerbsarbeit mehr zuzumuten sei. Der Ehemann sei deshalb für die Zeit bis zu ihrem Eintritt ins AHV-Alter zu nachehelichem Unterhalt zu verpflichten. Ausgehend von einem Bedarf der Ehefrau von Fr. 4'229.-- und einer IV-Rente von Fr. 1'823.-- verbleibe eine Differenz von gerundet Fr. 2'400.--. Mit einem Nettoeinkommen von Fr. 6'658.-- und einem Eigenbedarf von Fr. 2'862.-- sei der Ehemann in der Lage, einen entsprechenden Betrag zu bezahlen.
3. Der Ehemann bestreitet weder die Höhe des gebührenden Unterhalts der Ehefrau noch deren fehlende Eigenversorgungskapazität, sondern einzig die Annahme, dass die Ehe lebensprägend gewesen sei. Seiner Ansicht nach ist die knapp fünfjährige Zeit zwischen Eheschluss und Trennung massgebend. Aber selbst wenn die Zeit bis Anfang 2000 miteinberechnet werde und die massgebliche Ehedauer somit 61⁄2 Jahre betrage, sei die Ehe nicht prägend gewesen, weil die Aufgabe der Erwerbstätigkeit angesichts der Tatsache, dass weder Kinder noch ein grosses Haus zu betreuen gewesen seien, auf das Risiko der Ehefrau hin erfolgt sei. Im Übrigen habe er weit mehr an die ehelichen Lasten beigetragen. Aus dieser Bürde ergebe sich keine Vertrauensposition zugunsten der Ehefrau. Schliesslich habe er seit der 91⁄2 Jahre zurückliegenden Trennung hohe Unterhaltszahlungen geleistet. Nach einer nicht einmal sieben Jahre dauernden Ehe bestehe keine Schicksalsgemeinschaft, die es rechtfertige, für eine längere Zeit als die Ehedauer selbst Unterhaltsbeiträge zuzusprechen.
4. Bei Kurzehen von weniger als fünf Jahren wird vermutet, dass keine Lebensprägung vorliegt, während eine Ehe, die mehr als zehn Jahre gedauert hat, vermutungsweise lebensprägend war (Entscheide 5C.171/2005, E. 3.1; 5A_167/2007, E. 4). Bei einer Ehedauer zwischen fünf und zehn Jahren spielt keine eigentliche Vermutung; vielmehr kommt es darauf an, ob die tatsächlichen Umstände die Lebensverhältnisse der Ehegatten nachhaltig geprägt haben oder nicht (Entscheid 5C.169/2006, E. 2.4). Bei der lebensprägenden Ehe haben beide Parteien Anspruch auf Fortführung der ehelichen Lebenshaltung (<ref-ruling> E. 3.2 S. 594 f.), weil das Vertrauen des ansprechenden Ehegatten auf Fortführung der Ehe und auf den Weiterbestand der bisherigen, frei vereinbarten Aufgabenteilung als objektiv schutzwürdig anzusehen ist (Entscheide 5C.169/2006, E. 2.4; 5C.244/2006, E. 2.4.8).
Bei der Unterhaltsfestsetzung ist der Richter in verschiedener Hinsicht auf sein Ermessen verwiesen (<ref-law>; <ref-ruling> E. 3a S. 141; Botschaft, BBl 1996 I S. 115 f.). Was die Frage der Lebensprägung angeht, kommt ihm insbesondere dort ein weites Ermessen zu, wo nicht die eine oder andere Vermutung zum Tragen kommt, sondern auf die konkreten Verhältnisse des Einzelfalles abzustellen ist. Ermessensentscheide dieser Art überprüft das Bundesgericht an sich frei; es übt dabei allerdings Zurückhaltung und schreitet nur ein, wenn die kantonale Instanz von dem ihr zustehenden Ermessen falschen Gebrauch gemacht hat, d.h. wenn sie grundlos von in Lehre und Rechtsprechung anerkannten Grundsätzen abgegangen ist, wenn sie Gesichtspunkte berücksichtigt hat, die keine Rolle hätten spielen dürfen, oder wenn sie umgekehrt rechtserhebliche Umstände ausser Acht gelassen hat. Aufzuheben und zu korrigieren sind ausserdem Ermessensentscheide, die sich als im Ergebnis offensichtlich unbillig, als in stossender Weise ungerecht erweisen (<ref-ruling> E. 2 S. 382; <ref-ruling> E. 4.2 S. 15; <ref-ruling> E. 1 S. 99).
5. Vorliegend ist vom verbindlich festgestellten Sachverhalt auszugehen (<ref-law>), dass die Ehefrau nach der Trennung aufgrund verschiedener Briefe des Ehemannes und der Mitunterzeichnung eines Mietvertrages noch bis Anfang 2000 auf die Wiedervereinigung und somit auf den Fortbestand der Ehe hat vertrauen dürfen. Mit der blossen gegenteiligen Behauptung ist keine willkürliche Sachverhaltsfeststellung darzutun, und der Ehemann macht dies letztlich auch gar nicht geltend. Auszugehen ist damit von der Feststellung, dass die Ehe knapp sieben Jahre gedauert hat, so dass keine Vermutung für oder gegen eine Lebensprägung spielt, sondern die Umstände des Einzelfalles massgebend sind.
Bei deren Wertung hat das Obergericht darauf abgestellt, dass sich die Ehefrau mit der Aufgabe der Erwerbstätigkeit zwecks Haushaltführung angesichts ihres fortgeschrittenen Alters vollständig in die finanzielle Abhängigkeit des Ehemannes begeben hat, was sie offensichtlich nur vor dem Hintergrund des in die Ehe gesetzten Vertrauens durfte. Diese Umstände mussten auch dem Ehemann klar sein; wer sich (auch stillschweigend) auf eine klassische Rollenteilung einigt oder diese duldet, übernimmt für die sich hieraus ergebenden ökonomischen Konsequenzen Verantwortung. Wenn das Obergericht vor diesem Hintergrund auf eine Lebensprägung geschlossen hat, so lässt sich jedenfalls nicht von einer falschen Ermessensausübung im erwähnten Sinn sprechen. Dabei ist nicht zu übersehen, dass der Ehemann während der inzwischen geraumen Trennungsdauer Unterhaltsleistungen erbracht hat. Indes ist die nacheheliche Unterhaltspflicht auf Mitte 2011, d.h. auf wenige Jahre beschränkt; der Ehemann wird mithin ab dem Zeitpunkt, als die Ehefrau nicht mehr auf den Fortbestand der Ehe vertrauen durfte, während gut zwölf Jahren Unterhalt geleistet haben. Dies hält vor Bundesrecht stand, weshalb die Beschwerde abzuweisen ist.
6. Bei diesem Verfahrensausgang hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>). Der Gegenpartei ist kein entschädigungspflichtiger Aufwand entstanden.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'500.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 10. April 2008
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Raselli Möckli