Sachverhalt:
J._ (geboren 1957) bezog ab 1. Juni 1996 bei einem Invaliditätsgrad von 100 % eine ganze Invalidenrente. Mit Einspracheentscheid vom 23. August 2006 hob die IV-Stelle des Kantons Zürich die Rente auf. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit in Rechtskraft erwachsenem Entscheid vom 18. Juni 2007 ab. Ein mit Neuanmeldung vom 13. Mai 2008 gestelltes Rentenbegehren lehnte die IV-Stelle mit Verfügung vom 3. Mai 2010 ab.
Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 10. Oktober 2011 ab unter Gewährung der unentgeltlichen Prozessführung und Verbeiständung.
J._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag auf Zusprechung einer ganzen Invalidenrente. Eventuell sei der vorinstanzliche Entscheid aufzuheben und die Sache zur ergänzenden Begutachtung und Neubeurteilung an das kantonale Gericht zurückzuweisen. Ferner sei ihr die unentgeltliche Prozessführung und Verbeiständung zu bewilligen.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.2 S. 252 mit Hinweisen; <ref-ruling> E. 2.2 S. 550; <ref-ruling> E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254).
1.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Offensichtlich unrichtig im Sinne von Art. 97 Abs. 1 BGG ist die Sachverhaltsfeststellung, wenn sie willkürlich ist (<ref-ruling> E. 1.4.1 S. 39). Die entsprechende Rüge prüft das Bundesgericht nur insoweit, als sie in der Beschwerde explizit vorgebracht und substanziiert begründet worden ist.
2. 2.1 Prozessthema bildet die Frage, ob sich der Invaliditätsgrad seit der letzten rechtskräftigen Rentenablehnung (Einspracheentscheid vom 2.1 23. August 2006) bis zur verfügungsweisen Neuprüfung vom 3. Mai 2010 in revisionsrechtlich erheblicher Weise verändert hat (Art. 87 Abs. 4 in Verbindung mit Abs. 3 IVV; Art. 17 Abs. 1 ATSG). Dabei ist zu beachten, dass Anlass zur Rentenrevision jede wesentliche Änderung in den tatsächlichen Verhältnissen gibt, die geeignet ist, den Invaliditätsgrad und damit den Rentenanspruch zu beeinflussen. Allerdings stellt eine bloss unterschiedliche Beurteilung eines im Wesentlichen gleich gebliebenen Sachverhalts keine revisionsbegründende Tatsachenänderung dar (<ref-ruling> E. 2b S. 372). Praxisgemäss ist die Invalidenrente aber auch dann revidierbar, wenn sich die erwerblichen Auswirkungen des an sich gleich gebliebenen Gesundheitszustandes erheblich verändert haben (<ref-ruling> E. 6.1 S. 546, 130 V 343 E. 3.5 S. 349 f. mit Hinweisen). Diese Grundsätze gelten sinngemäss auch im Neuanmeldeverfahren nach Art. 87 Abs. 4 IVV (<ref-ruling>).
2.2 Anzufügen ist, dass die Frage, ob sich eine Arbeits(un)fähigkeit in einem bestimmten Zeitraum in einem rentenrevisionsrechtlich relevanten Sinne (Art. 17 ATSG; Art. 87 Abs. 3 und 4 IVV) verändert hat, eine Tatfrage darstellt (Urteil I 692/06 vom 19. Dezember 2006 E. 3.1) und einer letztinstanzlichen Berichtigung oder Ergänzung somit nur im gesetzlichen Rahmen von Art. 105 Abs. 2 BGG zugänglich ist (siehe E. 1.2 hievor). Frei überprüfbar ist dagegen, ob das kantonale Gericht bei der Sachverhaltsermittlung vom korrekten Beweismass - hier der überwiegenden Wahrscheinlichkeit - ausgegangen ist (Urteil 9C_149/2009 vom 14. Juli 2009 E. 3.2.3 mit Hinweisen, in: SVR 2009 IV Nr. 57 S. 177). Hat jedoch die Vorinstanz einen Sachverhalt gestützt auf eine willkürfreie Würdigung von Beweisen und konkreten Umständen und in Anwendung des zutreffenden Beweismasses als erstellt erachtet, ist das Bundesgericht an das Beweisergebnis grundsätzlich gebunden (vgl. <ref-ruling> E. 3 S. 220 ff., insb. E. 3b in fine S. 223; Urteil 9C_149/2009 vom 14. Juli 2009 E. 3.2.3, in: SVR 2009 IV Nr. 57 S. 177).
3. 3.1 Das kantonale Gericht stellte in Würdigung der medizinischen Unterlagen fest, Dr. med. M._ beschreibe in seinem Gutachten vom 29. März 2009 in erster Linie Zustände oder Ereignisse vor der letzten Rentenrevision, worauf die von ihm gestellten Diagnosen gründeten. Diese Ereignisse oder Zustände könnten jedoch nicht Grund für eine Veränderung seit der Rentenaufhebung im Jahr 2006 sein. Für die Zeit seit 2006 erwähne Dr. med. M._ keine wesentlichen biografischen Ereignisse, die nachvollziehbar einen Einfluss auf die Krankheitsentwicklung hätten. Solche Ereignisse erwähnten auch die übrigen Ärzte, insbesondere Dr. med. N._, nicht. Auch die von der Versicherten erwähnten, von Dr. med. M._ zusätzlich aufgeführten Befunde seien nicht derart, dass von einer wesentlichen Verschlechterung auszugehen wäre. Es sei somit nicht ersichtlich, auf welche Veränderung sich die attestierte Unzumutbarkeit einer erwerblichen Tätigkeit gründe. Das Gutachten von Dr. med. M._ enthalte vielmehr eine im Vergleich zu 2006 abweichende medizinische Beurteilung des an sich gleich gebliebenen Sachverhaltes. Dies stelle jedoch keine genügende revisionsrechtliche Grundlage dar. Aufgrund des rechtskräftigen Revisionsurteils vom 18. Juni 2007 könne im Übrigen nicht von einer offensichtlichen Unrichtigkeit der seinerzeitigen Rentenaufhebung ausgegangen werden. Da feststehe, dass sich der Zustand der Versicherten, den im Übrigen auch Dr. med. O._ und Dr. med. P._ als stationär bezeichneten, nicht verändert habe, brauche auf die von Dr. med. M._ gestellten Diagnosen inhaltlich nicht eingegangen zu werden. Da im Vergleich zur Rentenaufhebung im Jahre 2006 keine wesentliche Verschlechterung des Gesundheitszustandes eingetreten sei, habe die IV-Stelle das Leistungsbegehren von 2008 zu Recht abgewiesen.
3.2 Das kantonale Gericht hat verbindlich festgestellt, dass sich der Gesundheitszustand der Beschwerdeführerin seit der rechtskräftigen Rentenaufhebung im Jahre 2006 nicht in rentenrelevanter Weise verschlechtert hat. Diese tatsächlichen Feststellungen sind nicht mangelhaft im Sinne von Art. 97 Abs. 1 BGG. Namentlich hat das kantonale Gericht eingehend begründet, weshalb aus dem Gutachten des Dr. med. M._ vom 29. März 2009 im Vergleich zum im Rentenaufhebungsverfahren eingeholten ABI-Gutachten vom 15. März 2006 keine Verschlechterung des Gesundheitszustandes ersichtlich ist. Diese Schlussfolgerung ist nach der Aktenlage nicht offensichtlich unrichtig, noch ist darin eine unvollständige Sachverhaltsfeststellung oder in der Ablehnung von Beweisweiterungen eine Verletzung des Untersuchungsgrundsatzes zu erblicken. Eine anspruchsrelevante Verschlimmerung des Gesundheitszustandes könnte nur bejaht werden, wenn eine psychische Krankheit neu aufgetreten ist oder sich wesentlich verschlimmert hat (vgl. <ref-ruling> E. 5a S. 299 mit Hinweis auf AHI 2000 S. 153 E. 3). Die weitgehend appellatorischen Vorbringen in der Beschwerde sind daher allesamt nicht geeignet, die tatsächlichen Feststellungen des kantonalen Gerichts als mangelhaft im Sinne von Art. 97 Abs. 1 BGG und die Beweiswürdigung als willkürlich erscheinen zu lassen.
4. Dem Ausgang des Verfahrens entsprechend hat die Beschwerdeführerin grundsätzlich die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG). Ihrem Gesuch um unentgeltliche Prozessführung und Verbeiständung kann jedoch entsprochen werden (Art. 64 BGG; <ref-ruling> E. 4a S. 202), da die Voraussetzungen hiefür gegeben sind. Es wird indessen ausdrücklich auf Art. 64 Abs. 4 BGG hingewiesen, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten hat, wenn sie später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Der Beschwerdeführerin wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Rechtsanwalt Daniel Christe wird als unentgeltlicher Anwalt der Beschwerdeführerin bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 4. Januar 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Nussbaumer