Sachverhalt: A. A.a Mit Urteil vom 30. März 2004 (I 622/03) hob das Eidgenössische Versicherungsgericht in teilweiser Gutheissung der Verwaltungsgerichtsbeschwerde den Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 4. Juli 2003 und die Verfügungen der IV-Stelle des Kantons Zürich vom 13. Februar 2002 auf und stellte fest, dass die 1958 geborene P._ für die Zeit vom 1. Juli 1997 bis 31. März 1998 und vom 1. Januar 1999 bis 31. März 2000 Anspruch auf eine halbe Rente, für den Monat Juni 1997, für die Zeit vom 1. April bis 31. Dezember 1998 und ab 1. April 2000 bis mindestens 31. Dezember 2000 Anspruch auf eine ganze Invalidenrente habe. Für die Zeit ab 1. Januar 2001 erachtete es den Sachverhalt als nicht rechtsgenüglich abgeklärt und wies die Sache zu ergänzenden Abklärungen, sowie zum Neuentscheid an die IV-Stelle zurück. In der Folge holte die IV-Stelle ein Gutachten der Begutachtungsstelle Medizinisches Zentrum X._ vom 6. Februar 2006 ein. Gestützt darauf verneinte sie mit Verfügung vom 8. März 2006, bestätigt mit Einspracheentscheid vom 23. August 2006, einen Rentenanspruch der Versicherten ab 1. Januar 2001, nachdem sich ein Invaliditätsgrad von 30 % ergeben hatte. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit rechtskräftigem Entscheid vom 12. März 2008 ab. A.b Mit Verfügungen vom 6. September 2006 legte die IV-Stelle die Leistungen der Invalidenversicherung neu fest. In einer dieser Verfügungen forderte sie sodann zuviel ausgerichtete Rentenleistungen in der Höhe von Fr. 13'998.- zurück. Dieser Betrag umfasst die in der Periode 1. Januar 2001 bis 31. Oktober 2004 erfolgten Rentenleistungen in der Höhe von Fr. 16'782.- abzüglich Nachzahlungen aufgrund des Urteils des Eidgenössischen Versicherungsgerichts vom 30. März 2004 im Betrag von insgesamt Fr. 2'784.-. B. Die gegen die Rückforderungsverfügung vom 6. September 2006 eingereichte Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich gut und hob diese ersatzlos auf (Entscheid vom 12. März 2008). C. Das Bundesamt für Sozialversicherungen erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, der kantonale Gerichtsentscheid vom 12. März 2008 sei vollumfänglich aufzuheben. Die Versicherte lässt Abweisung der Beschwerde beantragen und um Gewährung der unentgeltlichen Rechtspflege ersuchen. Die IV-Stelle schliesst auf Gutheissung der Beschwerde.