Sachverhalt:
A. Mit Verfügung vom 4. September 1997 sprach die IV-Stelle des Kantons Zürich G._, geboren 1966, ab 1. März 1997 eine ganze Rente der Invalidenversicherung zu. Dies bestätigte die IV-Stelle mit einer ersten Revisionsverfügung am 12. März 1998. Nachdem G._ geheiratet und am 13. November 1999 einen Sohn zur Welt gebracht hatte, führte die IV-Stelle ein zweites Revisionsverfahren durch. In diesem Rahmen tätigte sie nebst medizinischen auch Abklärungen zur Arbeitsfähigkeit im Haushalt (Abklärungsbericht Haushalt vom 30. Oktober 2000). Mit Verfügung vom 18. Dezember 2000 setzte die IV-Stelle die bisher ganze Rente revisionsweise ab 1. Februar 2001 auf eine halbe herab. Sie ging dabei von einer 100%igen Einschränkung in der Erwerbstätigkeit und einer solchen von 31 % im Haushalt aus. Bei den angenommenen Anteilen 30 % Erwerbstätigkeit und 70 % Haushalt ergab sich daraus ein Invaliditätsgrad von 51 %.
B. Im Rahmen des hiegegen eingeleiteten Beschwerdeverfahrens holte das Sozialversicherungsgericht des Kantons Zürich ein neurologisches Gutachten ein, welches vom Universitätsspital X._ am 18. April 2003 erstattet wurde. Mit Entscheid vom 28. November 2006 wies das Gericht die Beschwerde ab, hob die Verfügung vom 18. Dezember 2000 auf und stellte zu Ungunsten von G._ wie angedroht fest, dass sie ab 1. Februar 2001 nur noch Anspruch auf eine Viertelsrente hat.
C. G._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheids sei ihr mit Wirkung ab 1. Februar 2001 weiterhin eine ganze Invalidenrente zu gewähren. Eventuell sei die Sache zur ergänzenden Abklärung an die Vorinstanz zurückzuweisen.
Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet.

Erwägungen:
1. 1.1 Das Bundesgesetz über das Bundesgericht vom 17. Juni 2005 (BGG; SR 173.110) ist am 1. Januar 2007 in Kraft getreten (AS 2006 1205, 1243). Da der angefochtene Entscheid vorher ergangen ist, richtet sich das Verfahren noch nach OG (<ref-law>; <ref-ruling> E. 1.2 S. 395).
1.2 Der angefochtene Entscheid betrifft Leistungen der Invalidenversicherung. Das Bundesgericht prüft daher nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 Abs. 2 OG [in der Fassung gemäss Ziff. III des Bundesgesetzes vom 16. Dezember 2005 über die Änderung des IVG, in Kraft seit 1. Juli 2006] in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2. Streitig und zu prüfen ist die Rentenherabsetzung. Das kantonale Versicherungsgericht hat die zur Beurteilung dieser Frage einschlägigen Rechtsgrundlagen zutreffend dargelegt. Darauf wird verwiesen. Zu ergänzen ist, dass nach der in <ref-ruling> E. 5 S. 110 f. geänderten Rechtsprechung bei der Rentenrevision (auf Gesuch hin oder von Amtes wegen) zeitlicher Ausgangspunkt für die Beurteilung einer anspruchserheblichen Änderung des Invaliditätsgrades nicht mehr die ursprüngliche Rentenverfügung, sondern die letzte rechtskräftige Verfügung ist, welche auf einer materiellen Prüfung des Rentenanspruchs mit rechtskonformer Sachverhaltsabklärung, Beweiswürdigung und Durchführung eines Einkommensvergleichs beruht. Allein, die Verschiebung der vom kantonalen Gericht zu Grunde gelegten zeitlichen Vergleichsbasis hat keinen Einfluss auf den Ausgang dieses Verfahrens.
3. Es ist unbestritten, dass die nunmehr verheiratete und zwei Kinder betreuende Beschwerdeführerin nicht mehr in gleichem Ausmass erwerbstätig wäre wie vorher. Bereits der damit zwingend verbundene Wechsel zur Bemessung der Invalidität nach der gemischten Methode (siehe dazu <ref-ruling> E. 5.1.1 S. 52) stellt nach der Rechtspre-chung einen Revisionsgrund dar (<ref-ruling> E. 3.5 S. 349 f. mit Hinweisen). Ob sich auch der Gesundheitszustand verändert hat, kann damit unter revisionsrechtlichem Gesichtspunkt offen bleiben.
4. Die Vorinstanz hat die Anteile Erwerbstätigkeit und Haushalt in Abweichung von der Revisionsverfügung auf je 50 % festgesetzt. Dies ist letztinstanzlich nicht mehr umstritten. Hingegen besteht in beiden Bereichen Uneinigkeit über die jeweilige Teilinvalidität.
5. 5.1 Im erwerblichen Bereich hat das kantonale Gericht in Würdigung der medizinischen Akten, insbesondere des neurologischen und neuropsychologischen Gutachtens der Klinik V._ vom 25. Januar 1999 sowie des neurologischen Gutachtens des Universitätsspitals X._ vom 18. April 2003, festgestellt, dass die Beschwerdeführerin im zuletzt ausgeübten Beruf als Sachbearbeiterin (Datatypistin) aufgrund der vom Unfall vom 21. März 1996 verbliebenen Beschwerden nicht mehr arbeitsfähig ist. Für eine Tätigkeit, bei der die neuropsychologischen Defizite nicht massgeblich ins Gewicht fallen, ist sie hingegen seit Januar 1999 zu 50 % (steigerbar) arbeitsfähig. Zu Gunsten der Beschwerdeführerin reduzierte die Vorinstanz das zumutbare Arbeitspensum dennoch auf 40 %. Die Beschwerdeführerin bringt gegen die vorinstanzlichen Feststellungen zur Restarbeitsfähigkeit, welche tatsächlicher Natur und für das Bundesgericht grundsätzlich verbindlich (vgl. <ref-ruling>) sind, nichts vor, was zur Annahme einer Bundesrechtsverletzung führen würde (vgl. E. 1.2). Die entscheidwesentlichen Gutachten erfüllen die von der Rechtsprechung aufgestellten Anforderungen an eine beweistaugliche und beweiskräftige Expertise (<ref-ruling> E. 3a S. 252). Es findet sich auch keine davon abweichende Arbeitsfähigkeitsbeurteilung bei den Akten. Die Beschwerdeführerin hingegen kann ihre Behauptung, sie sei im Erwerbsbereich zu 100 % arbeitsunfähig, nicht fachärztlich untermauern. Insbesondere bezieht der Bericht des Dr. med. M._, Leitender Arzt Neurologie des Spitals Y._, vom 24. Juli 2003, nicht Stellung zur Arbeitsfähigkeit im hier interessierenden Erwerbsbereich. Angesichts der schlüssigen medizinischen Aktenlage bedarf es auch keiner weiteren medizinischen Abklärungen (antizipierte Beweiswürdigung; <ref-ruling> E. 4b S. 94).
5.2 Es bleibt zu prüfen, wie sich die eingeschränkte Arbeitsfähigkeit erwerblich auswirkt. Das kantonale Gericht hat anhand eines Einkommensvergleichs festgestellt, dass der Invaliditätsgrad im Erwerbsbereich 28,7 % beträgt.
5.2.1 Das kantonale Gericht hat als Valideneinkommen auf den gemäss UVG versicherten Verdienst der Beschwerdeführerin der Jahre 1995/1996 bei einem Pensum von 80 % (Fr. 34'094.-) abgestellt, diesen um die Teuerung erhöht und auf ein 50%-Pensum umgerechnet, was zu einem Betrag von Fr. 22'044.- führt. Damit hat es übersehen, dass sich der nach UVG versicherte Verdienst und das Erwerbseinkommen, das die Versicherte erzielen könnte, wenn sie nicht invalid geworden wäre (hypothetisches Einkommen ohne Invalidität; <ref-law> nach der bis 31. Dezember 2002 gültig gewesenen Fassung), nicht nach den gleichen Kriterien bemessen, weshalb sie nicht notwendigerweise deckungsgleich sind (Urteil M. vom 30. Januar 2007, I 944/05, E. 4.3 mit weiteren Verweisungen). Mit der Beschwerdeführerin ist vielmehr vom Stundenlohn von Fr. 27.90 auszugehen, den sie bei ihrer zuletzt ausgeübten Tätigkeit erzielt hat. Da darin die Ferien- und Feiertagsentschädigung bereits inbegriffen ist, darf das Wochenentgelt bei einem 50%-Pensum (Fr. 27.90 x 20,5) aber nur mit 48 (und nicht wie sie ihrer Berechnung zu Grunde legt mit 52) Arbeitswochen multipliziert werden (siehe dazu Urteil H vom 4. April 2002, I 446/01 E. 2b), was - die Teuerung eingerechnet - Fr. 28'905.- ergibt. Davon ist im Folgenden als Valideneinkommen auszugehen.
5.2.2 Hinsichtlich des von der Vorinstanz auf Fr. 15'719.- veranschlagten Invalideneinkommens bemängelt die Beschwerdeführerin einzig, dass ihr nicht der maximale Leidensabzug von 25 % gewährt wurde. Dieser Einwand ist unbegründet. Die Frage der Höhe des Leidensabzuges ist eine typische Ermessensfrage, deren Beantwortung letztinstanzlicher Korrektur nur mehr dort zugänglich ist, wo das kantonale Gericht das Ermessen rechtsfehlerhaft ausgeübt hat, also Ermessensüberschreitung, -missbrauch oder -unterschreitung vorliegt (<ref-ruling> E. 3.3 S. 399). Inwiefern die Vorinstanz mit der Gewährung eines Abzuges von 10 % das Ermessen in dargelegtem Sinne rechtsfehlerhaft ausgeübt haben soll, legt die Beschwerdeführerin nicht dar und ist auch sonst nicht ersichtlich.
5.2.3 Aus dem Vergleich des Valideneinkommens von Fr. 28'905.- mit dem Invalideneinkommen von Fr. 15'719.- ergibt sich im erwerblichen Bereich somit ein Teilinvaliditätsgrad von 45,6 %.
6. Hinsichtlich der Haushaltstätigkeit stellte die Vorinstanz - im Wesentlichen gestützt auf den Abklärungsbericht Haushalt vom 30. Oktober 2000 - einen Teilinvaliditätsgrad von 31 % fest.
6.1 Nach der Rechtsprechung stellt der nach Massgabe der Verwaltungsweisungen des BSV (Rz. 3090 ff. des Kreisschreibens über Invalidität und Hilflosigkeit in der Invalidenversicherung [KSIH]) eingeholte Abklärungsbericht im Haushalt eine geeignete und im Regelfall genügende Grundlage für die Invaliditätsbemessung im Haushalt dar. Hinsichtlich seines Beweiswertes ist wesentlich, dass er von einer qualifizierten Person verfasst wird, die Kenntnis der örtlichen und räumlichen Verhältnisse sowie der aus den medizinischen Diagnosen sich ergebenden Beeinträchtigungen und Behinderungen hat. Weiter sind die Angaben der versicherten Person zu berücksichtigen, wobei divergierende Meinungen der Beteiligten im Bericht aufzuzeigen sind. Der Berichtstext muss schliesslich plausibel, begründet und angemessen detailliert bezüglich der einzelnen Einschränkungen sein sowie in Übereinstimmung mit den an Ort und Stelle erhobenen Angaben stehen (E. 5.2.1 des zur Publikation in der Amtlichen Sammlung vorgesehenen Urteils I 246/05 vom 30. Oktober 2007]). Erfüllt ein Abklärungsbericht diese Anforderungen, so ist die innerhalb der Bandbreiten gemäss Rz. 3095 KSIH erfolgte Gewichtung der einzelnen Bereiche eine Ermessensfrage, die von einer Beurteilung der konkreten Gegebenheiten des Einzelfalls abhängt und vom Bundesgericht nur im Hinblick auf Ermessensüberschreitung oder -missbrauch geprüft wird. Die Feststellung der Einschränkung in den einzelnen Bereichen ist eine Tatfrage, welche in den bereits in E. 5.2.2 genannten Schranken überprüft werden kann.
6.2 Der Abklärungsbericht vom 30. Oktober 2000 genügt den dargestellten Erfordernissen bezüglich Plausibilität, Begründetheit und Detailliertheit in allen Punkten. Das kantonale Gericht hat die von der Beschwerdeführerin dagegen erhobenen Vorbringen ausführlich gewürdigt. Darauf kann verwiesen werden, zumal sie im Verfahren vor Bundesgericht die Kritik grösstenteils wörtlich wiederholt, ohne sich mit den entsprechenden Erwägungen im angefochtenen Entscheid auseinanderzusetzen. Die Feststellung, die Beschwerdeführerin sei im Haushalt zu 31 % eingeschränkt, verletzt daher Bundesrecht nicht und bleibt für das Bundesgericht verbindlich (E. 1.2).
7. Die Teilinvaliditäten Erwerbstätigkeit (44 %) und Haushalt (31 %) sind entsprechend ihren Anteilen umzurechnen (<ref-ruling> E. 2b S. 149), was die Vorinstanz bezüglich ersterem Bereich nicht beachtet hat. Daraus resultiert eine Gesamtinvalidität von 38,3 % (0,5 x 45,6 % + 0,5 x 31 %) bzw. gerundet 38 %. Damit hätte die Beschwerdeführerin überhaupt keinen Anspruch mehr auf eine Rente, wird doch der erst zu einer Viertelsrente berechtigende Mindestinvaliditätsgrad von 40 % (vgl. <ref-law>) unterschritten. Mit dieser Feststellung hat es indessen sein Bewenden, darf doch das Bundesgericht den angefochtenen Entscheid nicht zu Ungunsten der Beschwerdeführerin abändern (Art. 132 Abs. 2 OG [in der Fassung gemäss Ziff. III des Bundesgesetzes vom 16. Dezember 2005 über die Änderung des IVG, in Kraft seit 1. Juli 2006], in Verbindung mit Art. 114 Abs. 1 OG). Der Beschwerdeführerin ist daher der vorinstanzlich auf eine Viertelsrente reduzierte - gerichtlich zugesprochene - Rentenanspruch zu belassen.
8. Nach der Rechtsprechung ist bei einer durch die Beschwerdeinstanz vorgenommenen Schlechterstellung (reformatio in peius) <ref-law> analog anwendbar (<ref-ruling>, AHI 2000 S. 303 E. 3, Urteil vom 1. März 2002, I 276/01, E. 4a), was das kantonale Gericht nicht berücksichtigt hat. Die Herabsetzung der halben auf eine Viertelsrente erfolgt daher vom ersten Tag des zweiten der Zustellung des vorinstanzlichen Entscheides (hier: 4. Dezember 2006) folgenden Monats an (<ref-law>). Demzufolge ist die Rente in Abänderung des angefochtenen Entscheides erst ab 1. Februar 2007 auf eine Viertelsrente herabzusetzen. Vorher bleibt es bei einer halben Rente. Soweit mit dem angefochtenen Entscheid die Rente bereits ab 1. Februar 2001 herabgesetzt wird, ist dieser in teilweiser Gutheissung der Verwaltungsgerichtsbeschwerde abzuändern. Soweit die Beschwerdeführerin die Belassung der ganzen Rente beantragt, ist das Rechtsmittel hingegen abzuweisen.
9. Das Verfahren ist kostenpflichtig (Art. 134 Satz 2 OG in der seit 1. Juli 2006 geltenden Fassung). Die Gerichtskosten sind den Parteien anteilsmässig aufzuerlegen (Art. 156 Abs. 1 in Verbindung mit Art. 135 OG). Die teilweise obsiegende Beschwerdeführerin hat zudem Anspruch auf eine reduzierte Parteientschädigung (Art. 159 Abs. 3 OG in Verbindung mit Art. 135 OG).

Demnach erkennt das Bundesgericht:
1. Die Verwaltungsgerichtsbeschwerde wird teilweise gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 28. November 2006 wird insoweit abgeändert, als die halbe Rente ab 1. Februar 2007 auf eine Viertelsrente herabgesetzt wird. Im Übrigen wird die Verwaltungsgerichtsbeschwerde abgewiesen.
2. Von den Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin Fr. 250.- und der Beschwerdegegnerin Fr. 250.- auferlegt.
3. Die Beschwerdegegnerin hat die Beschwerdeführerin für das bundesgerichtliche Verfahren mit Fr. 1250.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, dem Bundesamt für Sozialversicherungen und der Ausgleichskasse des Kantons Zürich schriftlich mitgeteilt.
Luzern, 24. Januar 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Maillard