Sachverhalt:
A. A.a B._, geboren 1957, arbeitete seit 1991 als Hausangestellte im Altersheim X._. Am 10. Dezember 1997 meldete sie sich unter Angabe eines Bandscheibenleidens bei der IV-Stelle des Kantons Zürich zum Bezug von Leistungen der Invalidenversicherung an. Nach Abklärung der medizinischen und wirtschaftlichen Verhältnisse sprach diese B._ mit Verfügung vom 14. Juli 1998 ab 1. Januar 1998 eine ganze Rente zu (Invaliditätsgrad von 100 %). Mit Schreiben vom 9. Dezember 1999 und 14. Januar 2004 bestätigte sie den bisherigen Rentenanspruch bei einem unveränderten Invaliditätsgrad.
A.b Im Rahmen eines am 17. Juni 2008 eingeleiteten Revisionsverfahrens holte die IV-Stelle Berichte der Inneren Medizin der Klinik Y._, (vom 18. Juli 2008) und der Klinik für Rheumatologie und Rehabilitation, Spital Z._, (vom 13. November 2008) sowie ein polydisziplinäres Gutachten des ABI (Ärztliches Begutachtungsinstitut GmbH), vom 19. August 2009 ein. Dieses attestierte B._ in einer körperlich leichten und intermittierend mittelschweren Tätigkeit eine Arbeits- und Leistungsfähigkeit von 100 %. Gestützt darauf kündigte die IV-Stelle B._ mit Vorbescheid vom 8. Januar 2010 auf den 1. Juni 2010 die Herabsetzung der ganzen auf eine Viertelsrente an (Invaliditätsgrad von 40 %). Am 26. April 2010 verfügte sie auf den genannten Zeitpunkt die Ausrichtung einer "ganzen IV-Rente bei einem Invaliditätsgrad unter 70 Prozent".
B. B._ erhob am 26. Mai 2010 Beschwerde beim Sozialversicherungsgericht des Kantons Zürich. Sie beantragte, es sei ihr weiterhin eine auf einem Invaliditätsgrad von mindestens 75 % basierende Rente auszurichten. Die IV-Stelle beantragte, es sei festzustellen, dass die Rentenzusprache zu Unrecht erfolgt sei. Die Rente sei aufzuheben. Eventualiter sei die Beschwerde abzuweisen. Mit Beschluss vom 26. September 2011 gab das Gericht B._ die Gelegenheit, sich zur Frage einer reformatio in peius zu äussern. Nachdem die Versicherte am 16. April 2012 zur Frage der Schlechterstellung Stellung genommen und am Rechtsmittel festgehalten hatte, wies das Sozialversicherungsgericht die Beschwerde mit Entscheid vom 7. September 2012 ab. Zudem änderte es die Verfügung vom 26. April 2010 dahingehend ab, dass B._ ab 1. Juni 2010 keinen Anspruch mehr auf eine Invalidenrente habe.
C. B._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, der kantonale Entscheid und die Verfügung seien aufzuheben. Es sei ihr über den 31. Mai 2010 hinaus eine ganze Invalidenrente zuzusprechen. Eventualiter sei ihr ab 1. Juni 2010 eine Viertelsrente zuzusprechen. Subeventualiter sei die Sache an die IV-Stelle zurückzuweisen, damit sie den medizinischen Sachverhalt rechtsgenügend abkläre. Ferner lässt sie unentgeltliche Rechtspflege beantragen.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Vorinstanz und Bundesamt für Sozialversicherungen verzichten auf Vernehmlassung.

Erwägungen:
1. Nach dem Dispositiv des vorinstanzlichen Entscheides hat das Gericht die Verfügung vom 26. April 2010 dahingehend abgeändert, dass ab 1. Juni 2010 jeder Anspruch auf eine Invalidenrente entfallen soll. Damit ist die Beschwerdelegitimation der Versicherten gegeben und auf ihre Beschwerde einzutreten.
2. Das Bundesgericht prüft von Amtes wegen die formellen Gültigkeitserfordernisse auch des vorinstanzlichen Verfahrens. Hat die Vorinstanz übersehen, dass es an einer Prozessvoraussetzung fehlte, und hat sie materiell entschieden, hat das Bundesgericht dies im Rechtsmittelverfahren von Amtes wegen zu berücksichtigen und den angefochtenen Entscheid aufzuheben (<ref-ruling> E. 2 S. 9; <ref-ruling> E. 3.1 S. 127; Urteil 9C_143/2012 vom 22. März 2012 E. 1). Dass das Bundesgericht gemäss <ref-law> nicht über die Begehren der Parteien hinausgehen darf, steht in einem solchen Falle der Aufhebung des angefochtenen Entscheides aus formellen Gründen - auch ohne entsprechenden Antrag - nicht entgegen, da die genannte Bestimmung nur die materielle Seite des Rechtsstreits betrifft (Ulrich Meyer/Johanna Dormann, Basler Kommentar zum Bundesgerichtsgesetz, 2. Aufl. 2011, N. 1 zu <ref-law>; vgl. <ref-ruling> E. 1 S. 191 und RKUV 1991 Nr. U 124 S. 157 E. 1 zu Art. 114 Abs. 1 des auf Ende 2006 aufgehobenen OG sowie 9C_414/2007 vom 25. Juli 2008 E. 1; vgl. dazu auch das Urteil 9C_918/2009 vom 24. Dezember 2009 E. 4; zur Voraussetzung des Rechtsschutzinteresses als Eintretensvoraussetzung das Urteil 9C_78/2010 vom 22. November 2011 E. 2).
3. Aufgrund von <ref-law> haben Witwen, Witwer und Waisen, welche sowohl die Anspruchsvoraussetzungen für eine Hinterlassenenrente der Alters- und Hinterlassenenversicherung als auch für eine Rente der Invalidenversicherung erfüllen, Anspruch auf eine ganze Invalidenrente. Es wird aber nur die höhere der beiden Renten ausgerichtet.
3.1 Die Beschwerdeführerin ist seit 2003 verwitwet. In Umsetzung der genannten Regelung wurde ihr darum auch nach der verfügungsweisen Herabsetzung des Invaliditätsgrades auf 40 % die ganze Rente ausgerichtet. Dies schien ihr entgangen zu sein, denn sie führte am 4. März 2011 im Gesuch um Gewährung der unentgeltlichen Rechtspflege gegenüber der Vorinstanz aus, ihr sei die Rente ab Juli 2010 auf eine Viertelsrente gekürzt worden. Faktisch war aber der Betrag der Invalidenrente auf unveränderter Höhe geblieben (ab 1. Juni 2010 Fr. 1'710.- [zum Vergleich: Fr. 1'583.- gemäss Verfügung vom 19. September 2003]). Auch gegenwärtig scheint sie dies nicht erkannt zu haben, wenn sie eventualiter die Ausrichtung einer Viertelsrente beantragt, was konkret aufgrund von <ref-law> nicht möglich ist.
Wie eben dargelegt, ergab sich infolge der Verwitwung für die Beschwerdeführerin trotz der Herabsetzung des Invaliditätsgrades auf 40 % keine betragliche Veränderung der Invalidenrente, auch wenn im "Verfügungsteil 2" von der Beschwerdegegnerin noch eine Rentenreduktion angegeben worden war. Dies erklärt sich damit, dass die Regelung von <ref-law> offensichtlich erst später im Rahmen der konkreten Rentenfestlegung von der Sozialversicherungsanstalt Zürich (SVA) als zuständiger Ausgleichskasse umgesetzt worden ist. Im Ergebnis war die Beschwerdeführerin somit durch die angefochtene Verfügung gar nicht beschwert und fehlte es deshalb an einem Rechtsschutzinteresse. Ein Rechtsschutzinteresse ist jedoch Voraussetzung für das Eintreten der Vorinstanz auf die Beschwerde (vgl. Hans-Jakob Mosimann, § 9 N. 12 in Christian Zünd/Brigitte Pfiffner Rauber [Hrsg.] Gesetz über das Sozialversicherungsgericht des Kantons Zürich, Kommentar, 2., vollständig überarbeitete Aufl., S. 56). Da die Beschwerdeführerin keine Ergänzungsleistungen bezieht, ergibt sich auch daraus kein aktuelles Rechtsschutzinteresse auf Festlegung des konkreten Invaliditätsgrades durch das Gericht (Urteil 9C_822/2011 vom 3. Februar 2012 E. 3.2.3). Die blosse Möglichkeit, dass die Versicherte in einem späteren Zeitpunkt allenfalls Bezügerin von Ergänzungsleistungen werden könnte, begründet kein solches Interesse an der Anfechtung der Verfügung vom 26. April 2010. Sie macht derlei auch nicht geltend.
3.2 Wie aus den Akten hervor geht, war die Pensionskasse der Stadt Zürich ins Vorbescheidverfahren der Invalidenversicherung einbezogen und die Verfügung vom 26. April 2010 ist auch ihr eröffnet worden. Damit ist die Invaliditätsschätzung der Invalidenversicherung für sie grundsätzlich verbindlich (<ref-ruling> E. 4.3.2 S. 69 mit Hinweisen). Aus berufsvorsorgerechtlicher Sicht fehlte es indes an einem schutzwürdigen Interesse zur Anfechtung der Verfügung, da nach der Rechtsprechung der im IV-Verfahren ermittelte Invaliditätsgrad auch dann keine Bindungswirkung für die berufliche Vorsorge entfaltet, wenn er nicht genau ("präzis") bestimmt werden muss, weil eine grobe Schätzung für die Festsetzung des Umfangs des Anspruchs oder die Verneinung eines Anspruchs genügt. Diese Bindungswirkungsfrage stellt sich u.a. im Zusammenhang mit Ehepaar-Invalidenrenten (Urteil 9C_858/2010 vom 17. Mai 2011 E. 2.3.2 mit weiteren Hinweisen). Aufgrund des Bezugs einer ganzen Rente durch den Ehemann gab dort bereits ein Invaliditätsgrad von 40 % weiterhin Anspruch auf Ausrichtung einer ganzen Rente (Urteil 9C_822/2011 vom 3. Februar 2012 E. 3.2.2).
3.3 Die Vorinstanz hätte somit wegen eines allgemein fehlenden Rechtsschutzinteresses nicht auf das Rechtsmittel eintreten dürfen.
4. Da vorliegend auf die Beschwerde nicht hätte eingetreten werden dürfen, ist Dispositiv-Ziffer 1 des kantonalen Entscheides aufzuheben. Demzufolge bleibt die Verfügung vom 26. April 2010 massgebend, mit der der Beschwerdeführerin bei einem Invaliditätsgrad von 40 % eine ganze Invalidenrente zugesprochen worden ist.
5. In Anwendung von <ref-law> wird auf die Erhebung von Gerichtskosten verzichtet. Die Beschwerdegegnerin hat der Beschwerdeführerin eine Parteientschädigung zu bezahlen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen und Dispositiv-Ziffer 1 des Entscheides des Sozialversicherungsgerichts des Kantons Zürich vom 7. September 2012 aufgehoben.
2. Es werden keine Gerichtskosten erhoben.
3. Die Beschwerdegegnerin hat den Rechtsvertreter der Beschwerdeführerin für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 17. April 2013
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Der Gerichtsschreiber: Schmutz