Sachverhalt:
A. A.a Die 1955 geborene E._ meldete sich am 8. November 2000 wegen verschiedenen gesundheitlichen Problemen bei der Invalidenversicherung zum Leistungsbezug an. Die Sozialversicherungsanstalt des Kantons Zürich (IV-Stelle) holte die medizinischen Akten der ebenfalls mit dem Fall beschäftigten Unfallversicherung - unter anderem mit einem psychiatrischen Gutachten der Dr. med. K._ vom 24. Mai 2006 - ein und liess die Versicherte selbst psychiatrisch durch Dr. med. R._ (Expertise vom 23. Mai 2007) begutachten. Im Anschluss daran gab sie zusätzlich ein polydisziplinäres Gutachten beim Institut X._ in Auftrag (Expertise vom 1. Juli 2009). Gestützt auf letzteres wies die IV-Stelle das Gesuch um Ausrichtung einer Rente mit Verfügung vom 18. Dezember 2009 ab.
A.b Im daraufhin angehobenen Beschwerdeverfahren legte E._ ihrerseits ein psychiatrisches Gutachten des Dr. med. I._ vom 15. Juni 2010 zu den Akten. Das Sozialversicherungsgericht des Kantons Zürich wies die Beschwerde mit Entscheid vom 23. Dezember 2010 ab. Diesen hob das Bundesgericht mit Urteil vom 5. Juli 2011 auf (8C_148/2011). Es erwog, das kantonale Gericht habe die verschiedenen psychiatrischen Gutachten zu wenig gewürdigt und seinen Entscheid nicht umfassend begründet. Da sich die Expertisen auch hinsichtlich der Diagnosen widersprächen, habe die Vorinstanz nicht ohne Einholung eines umfassenden Obergutachtens entscheiden dürfen. Das Bundesgericht wies die Sache an das Sozialversicherungsgericht des Kantons Zürich zurück, damit dieses entsprechend verfahre und neu entscheide.
B. Mit Entscheid vom 31. Mai 2012 hiess das Sozialversicherungsgericht des Kantons Zürich die Beschwerde in dem Sinne gut, als es feststellte, die Versicherte habe ab 1. Januar 2001 Anspruch auf eine halbe Rente, ab 1. Januar 2004 auf eine Dreiviertelsrente und ab 1. Mai 2005 auf eine ganz Rente der Invalidenversicherung.
C. Die IV-Stelle des Kantons Zürich führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und stellt den Antrag, die Sache sei in Aufhebung des vorinstanzlichen Entscheides an das kantonale Gericht zurückzuweisen, damit dieses ergänzende Abklärungen treffe.
E._ lässt auf Abweisung der Beschwerde schliessen. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>).
2. Die Beschwerde führende IV-Stelle rügt eine Verletzung des Anspruchs auf rechtliches Gehör, weil das kantonale Gericht ohne neue medizinische Abklärungen seine Meinung gegenüber dem Entscheid vom 23. Dezember 2010 gewechselt hat. Das Abweichen von der bisherigen Auffassung werde nicht begründet, womit es der Beschwerdeführerin verunmöglicht werde, sich damit weitergehend auseinanderzusetzen. Zudem bestehe die vom Bundesgericht im Urteil vom 5. Juli 2011 festgestellte Rechtsverletzung in Form einer Verletzung des Untersuchungsgrundsatzes nach wie vor.
3. 3.1 Das Bundesgericht hatte im Urteil 8C_148/2011 vom 5. Juli 2011 festgehalten, dass bei der gegebenen Ausgangslage, in welcher sich drei umfassende, im Wesentlichen übereinstimmende spezialärztliche Begutachtungen einerseits und eine weitere im Rahmen einer polydisziplinären Untersuchung andererseits zumindest gleichwertig gegenüberstehen, und sich in entscheidenden Punkten, insbesondere auch in den Diagnosen widersprechen, das Gericht in Anwendung des Untersuchungsgrundsatzes nicht ohne umfassendes Obergutachten einseitig auf das im Rahmen der polydisziplinären Begutachtung verfasste Gutachten vom 1. Juli 2009 abstellen durfte. Die Sache wurde zur Einholung des erwähnten Obergutachtens an das kantonale Gericht zurückgewiesen.
3.2 Das Sozialversicherungsgericht des Kantons Zürich hat unbestrittenermassen keine Oberbegutachtung angeordnet. Vielmehr stützt es den nunmehr angefochtenen Entscheid mittels "erneuter Würdigung" auf die im Entscheid vom 23. Dezember 2010 noch als nicht überzeugend beurteilten (Gutachten K._ und R._) oder gar nicht berücksichtigten (Gutachten I._) Expertisen, ohne sich darüber zu äussern, warum das Gutachten G._ vom Institut X._ nunmehr als nicht beweistauglich qualifiziert wird. Damit wird einerseits wiederum der Untersuchungsgrundsatz und andererseits das rechtliche Gehör der IV-Stelle verletzt.
3.3 Der kantonale Entscheid ist aus formellen Gründen und ohne Auseinandersetzung mit dessen materiellen Erwägungen aufzuheben. Die Sache ist an die Vorinstanz zurückzuweisen, damit sie nach Einholung der im Urteil vom 5. Juli 2011 angeordneten Oberbegutachtung und allfällig notwendiger weiterer Beweisvorkehren unter Berücksichtigung aller Unterlagen und Beweisergebnisse über die Beschwerde vom 1. Februar 2010 neu entscheide.
4. Die Beschwerde ist offensichtlich begründet, weshalb sie im Verfahren nach <ref-law> mit summarischer Begründung erledigt wird.
5. Umständehalber wird auf die Erhebung von Gerichtskosten verzichtet (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen, der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 31. Mai 2012 aufgehoben und die Sache an die Vorinstanz zurückgewiesen, damit sie im Sinne der Erwägungen verfahre und über die Beschwerde gegen die Verfügung vom 18. Dezember 2009 neu entscheide.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 5. Dezember 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Schüpfer