Sachverhalt: A. Die 1971 geborene M._ erlitt am 1. Dezember 1993 bei einem Tötungsversuch durch ihren Ehemann, der sich danach selbst richtete, Schrotschussverletzungen am Hinterkopf (Diagnose gemäss ärztlichem Zwischenbericht der neurochirurgischen Klinik X._ vom 16. Januar 1994: Schädel-Hirntrauma mit offener multifragmentärer Fraktur der Schädelkalotte, vollständiger rechtsseitiger homonymer Hemianopsie sowie passagerer Hypakusis rechts). Mit Verfügung vom 7. Juli 1999 sprach ihr die IV-Stelle des Kantons Zürich (nachfolgend: IV-Stelle) mit Wirkung ab 1. Mai 1996 (ein Jahr rückwirkend ab Anmeldung) bei einem Invaliditätsgrad von 60 % eine ganze Invalidenrente zu. Am 15. Januar 2001 wechselte M._ als Büromitarbeiterin zum Unternehmen Y._. Im Rahmen eines aufgrund des Stellenwechsels durchgeführten Revisionsverfahrens wurde die ganze Rente mit Verfügung vom 11. September 2001 bestätigt. Bei einer weiteren Revision legte die IV-Stelle mit Verfügung vom 25. April 2005 die Invaliditätsgrade für die Zeit ab 1. April 2002 neu fest. Sie hob die Invalidenrente vom 1. April bis 31. Dezember 2002 rückwirkend auf (Invaliditätsgrad von 36 %), bestätigte den Anspruch auf eine Viertelsrente vom 1. Januar bis 31. Dezember 2003 (Invaliditätsgrad von 43 %) und hob die Rente ab 1. April 2004 wieder auf (Invaliditätsgrad von 33 %). Daran hielt die IV-Stelle mit Einspracheentscheid vom 14. März 2006 fest, nachdem sie zudem am 9. Juni 2005 eine Rückforderungsverfügung erlassen hatte. B. Die gegen den Einspracheentscheid vom 14. März 2006 erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 27. November 2006 ab. C. M._ lässt Verwaltungsgerichtsbeschwerde erheben und beantragen, es sei ihr unter Aufhebung des vorinstanzlichen Entscheides eine halbe Invalidenrente zuzusprechen. Während die IV-Stelle auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.