Sachverhalt:
A. Mit Verfügung vom 3. November 2005 sprach die IV-Stelle des Kantons Zürich der 1954 geborenen B._ ab 1. Mai 2005 bei einem Invaliditätsgrad von 43 % eine Viertelsrente der Invalidenversicherung zu, woran sie auf eine Einsprache der Versicherten hin mit Entscheid vom 4. Dezember 2006 festhielt.
B. Die hiegegen erhobene Beschwerde, mit welcher B._ die Aufhebung des Einspracheentscheides und die Zusprechung einer ganzen, evtl. einer halben Invalidenrente beantragt hatte, wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 8. Januar 2008 ab.
C. B._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, unter Aufhebung des vorinstanzlichen Entscheides sei ihr ab 1. Mai 2005 anstelle der Viertels- eine halbe Invalidenrente zuzusprechen.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (<ref-law>).
Auf der nicht medizinischen beruflich-erwerblichen Stufe der Invaliditätsbemessung charakterisieren sich als Rechtsfragen die gesetzlichen und rechtsprechungsgemässen Regeln über die Durchführung des Einkommensvergleichs (<ref-ruling> E. 3.4 S. 348, 128 V 29 E. 1 S. 30, 104 V 135 E. 2a und b S. 136 f.), einschliesslich derjenigen über die Anwendung der schweizerischen Lohnstrukturerhebung/LSE (BGE 129 V E. 4.2.1 S. 475 f., 124 V 321 E. 3b/aa S. 322 f.) und der Dokumentation von Arbeitsplätzen/DAP (<ref-ruling> ff.). In dieser Sicht stellt sich die Feststellung der beiden hypothetischen Vergleichseinkommen als Tatfrage dar, soweit sie auf konkreter Beweiswürdigung beruht, hingegen als Rechtsfrage, soweit sich der Entscheid nach der allgemeinen Lebenserfahrung richtet. Letzteres betrifft etwa die Frage, ob Tabellenlöhne anwendbar sind, welches die massgebliche Tabelle ist und ob ein (behinderungsbedingt oder anderweitig begründeter) Leidensabzug vorzunehmen sei (<ref-ruling> E. 3.3 S. 399; zur Publikation in BGE 134 V bestimmtes Urteil 8C_255/2007 vom 12. Juni 2008).
2. Nach <ref-law> besteht Anspruch auf eine Viertelsrente der Invalidenversicherung bei einem Invaliditätsgrad von mindestens 40 %, auf eine halbe Rente bei einem Invaliditätsgrad von mindestens 50 %, während eine Dreiviertelsrente bei einem Invaliditätsgrad von mindestens 60 % und eine ganze Rente bei einem Invaliditätsgrad von mindestens 70 % zur Ausrichtung gelangen. Gemäss <ref-law> wird für die Bestimmung des Invaliditätsgrades das Erwerbseinkommen, das die versicherte Person nach Eintritt der Invalidität und nach Durchführung der medizinischen Behandlung und allfälliger Eingliederungsmassnahmen durch eine ihr zumutbare Tätigkeit bei ausgeglichener Arbeitsmarktlage erzielen könnte, in Beziehung gesetzt zum Erwerbseinkommen, das sie erzielen könnte, wenn sie nicht invalid geworden wäre.
3. Im vorliegenden Fall sind der Grad der Arbeitsunfähigkeit und das Invalideneinkommen von Fr. 40'800.--, entsprechend dem Lohn, den die Versicherte mit einem Teilzeitpensum von 50 % seit 1. März 2005 bei der Firma X._ als kaufmännische Angestellte/Allrounderin verdient, unbestritten. Streitig und zu prüfen ist einzig die Höhe des hypothetischen Einkommens ohne Invalidität (Valideneinkommen).
3.1 Gestützt auf die Angaben der Firma Y._, wo die Beschwerdeführerin von September 2003 bis zur Kündigung auf Ende Januar 2005 in einem Vollzeitpensum zu einem Monatslohn von Fr. 5'500.-- arbeitete, setzte die Vorinstanz das Valideneinkommen für das Jahr 2005 auf Fr. 71'500.-- (13 x Fr. 5'500.--) fest.
3.2 Demgegenüber machte die Versicherte geltend, ihre frühere Arbeitgeberin, die Firma Y._, sei aus wirtschaftlichen Gründen ausser Stande gewesen, sie für ein Vollzeitpensum zu entlöhnen, nachdem sie ihre Arbeitszeit ab September 2003 von zunächst 80 % auf 100 % erhöht hatte. Der Lohn von Fr. 5'500.-- im Monat habe dem Entgelt für ein Pensum von 80 % entsprochen. Am 1. März 2005 habe sie die neue Stelle bei der Firma X._ in einem Pensum von 50 % angetreten; der Lohn belaufe sich umgerechnet auf Fr. 40'800.-- im Jahr. Bei einer Vollzeitbeschäftigung würde ihr Salär Fr. 81'600.-- im Jahr betragen. Dieser Betrag sei als Valideneinkommen heranzuziehen.
4. 4.1 Soweit es bei der Invaliditätsbemessung um die Frage geht, welche Löhne an einer bestimmten Stelle bezahlt werden oder erreicht werden können, handelt es sich um Feststellungen tatsächlicher Natur, die letztinstanzlicher Korrektur nur unter den Voraussetzungen von <ref-law> zugänglich sind. Hingegen ist die Frage, welche hypothetischen Erwerbseinkommen im Rahmen des Einkommensvergleichs nach <ref-law> miteinander in Beziehung zu setzen sind, eine Rechtsfrage, welche vom Bundesgericht frei zu prüfen ist, dies analog zur Frage, ob Tabellenlöhne anwendbar sind und welches die massgebende Tabelle ist (E. 1 hievor).
4.2 Die Festsetzung des hypothetischen Valideneinkommens durch die Vorinstanz auf Fr. 71'500.-- im Jahr verletzt Bundesrecht. Ausschlaggebend ist nicht der Lohn, den die Versicherte heute bei ihrer ehemaligen Arbeitgeberin, der Firma Y._, verdienen würde, sondern das Einkommen, das sie heute erzielen würde, wenn sie nicht invalid geworden wäre. Diese beiden Einkommen differieren erheblich. Die Beschwerdeführerin ist heute trotz Gesundheitsschadens in der Lage, bei hälftiger Arbeitsfähigkeit mit entsprechendem Teilzeitpensum Einkünfte von Fr. 40'800.-- im Jahr zu erzielen. Dies spricht dafür, dass sie ohne Gesundheitsschaden mit voller Leistungsfähigkeit ein Einkommen in doppelter Höhe (Fr. 81'600.-- im Jahr und somit rund Fr. 10'000.-- mehr als bei der Firma Y._) erreichen könnte, wie dies übrigens von der Firma X._ in einer schriftlichen Auskunft vom 7. November 2006 bestätigt wurde. Wird dieser Betrag als Valideneinkommen herangezogen, resultiert ein Invaliditätsgrad von 50 %, mit der Folge, dass die Beschwerdeführerin ab 1. Mai 2005 anstelle der Viertelsrente eine halbe Invalidenrente beanspruchen kann.
5. Dem Prozessausgang entsprechend sind die Gerichtskosten der unterliegenden Beschwerdegegnerin aufzuerlegen (<ref-law>). Diese hat der Beschwerdeführerin überdies eine Parteientschädigung zu bezahlen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 8. Januar 2008 und der Einspracheentscheid der IV-Stelle des Kantons Zürich vom 4. Dezember 2006 werden insoweit abgeändert, als der Beschwerdeführerin ab 1. Mai 2005 anstelle der Viertelsrente eine halbe Invalidenrente zugesprochen wird.
2. Die Gerichtskosten von Fr. 500.-- werden der IV-Stelle des Kantons Zürich auferlegt.
3. Die IV-Stelle des Kantons Zürich hat die Beschwerdeführerin für das bundesgerichtliche Verfahren mit Fr. 2'500.-- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Sozialversicherungsgericht des Kantons Zürich zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 19. August 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Widmer