Sachverhalt:
A. H._, geboren 1969, Mutter von zwei Kindern (geboren 1994 und 1996), meldete sich am 30. Juli 2004 unter Hinweis auf psychische Probleme, Depressionen usw. bei der Invalidenversicherung zum Rentenbezug an. Mit Verfügung vom 2. Juni 2005 und Einspracheentscheid vom 26. April 2006 verneinte die IV-Stelle des Kantons Zürich einen Rentenanspruch, nachdem sie medizinische Unterlagen eingeholt und einen Haushaltabklärungsbericht (von J. S._ vom 2. Juni 2005) veranlasst hatte. Die dagegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 30. November 2007 in dem Sinne gut, dass der Einspracheentscheid aufgehoben und die Sache zu weiteren medizinischen Abklärungen betreffend die Einschränkung der Versicherten im Haushalt an die IV-Stelle zurückgewiesen wurde.
Das kantonale Gericht stellte insbesondere eine erhebliche Diskrepanz fest in den Einschätzungen der krankheitsbedingten Einschränkung der Versicherten im Haushalt: Währenddem die behandelnden Ärztinnen der Klinik A._ eine vollständige Arbeitsunfähigkeit attestierten, ermittelte die Abklärungsperson J. S._ eine Einschränkung von lediglich rund 20 % (bzw. gewichtete 16.05 % bei einem unbestrittenen Anteil Haushaltführung von 64 %). Das Gericht erwog sodann, die psychiatrischen Berichte seien in ihrer Einschätzung nicht nachvollziehbar, da einerseits eine bewusstseinsklare und allseits orientierte Patientin beschrieben werde, die im formalen Denken kohärent und geordnet sei, anderseits eine vollständige Arbeitsunfähigkeit im Haushalt attestiert werde. Es seien neue ärztliche Beurteilungen vorzunehmen, welche die noch zumutbaren Erwerbstätigkeiten sowie die Einschränkungen in der Haushalttätigkeit abklärten.
In der Folge holte die IV-Stelle einen Verlaufsbericht des Psychiatrie Zentrums A._ (vom 14. Mai 2008, unterzeichnet von Pflegefachfrau C. C._ und Stv. Oberärztin Dr. med. B. F._), welche die Diagnose Paranoide Schizophrenie und auch die Einschätzung der vollständigen Arbeitsunfähigkeit ohne weitere Begründung wiederholten und auf ein chronisches Zustandsbild sowie auf medikamentöse Behandlung und Gespräche im sozialpsychiatrischen Rahmen hinwiesen. Ein weiteres Mal besuchte eine Abklärungsperson der IV-Stelle die Versicherte in ihrer Wohnung und ermittelte eine Einschränkung im Haushalt von wiederum rund 20 % (Bericht vom 4. September 2008).
Nach Erlass eines Vorbescheides, der der Versicherten eine Viertelsrente in Aussicht stellte, machte die IV-Stelle auf Veranlassung des Rechtsvertreters der Versicherten weitere Abklärungen. Es erfolgten zwei Ergänzungsberichte des Psychatrie-Zentrums A._ vom 24. November 2008 (unterzeichnet von Pflegefachfrau C. C._ und Stv. Oberärztin Dr. med. B. F._), welche ausführten, die Versicherte sei seit Jahren in der Haushaltführung durch eine Freundin unterstützt, die die schwereren Haushaltarbeiten verrichte; die Versicherte fühle sich dem Haushalt weder physisch noch psychisch gewachsen. In einem weiteren Bericht vom 3. März 2009 nahmen C. C._ und Dr. med. B. F._ Stellung zur anderslautenden Einschätzung des Haushaltabklärungsberichts und führten im Wesentlichen aus, aktuell sei die chronisch paranoide Schizophrenie teilremittiert. Aufgrund ihres Gesundheitszustandes könne die Versicherte den Haushalt nur oberflächlich führen; wegen der krankheitsbedingten Malcompliance seien tägliche kurze Spitexbesuche organisiert zur Hilfe bei der Einnahme der Medikamente. Im vierten Bericht des Psychiatrie-Zentrums A._ vom 19. Oktober 2009, führten Dr. med. P. N._, Leitender Arzt, und Dr. B. F._ unter anderem aus, es sei ihnen nicht möglich, das Ausmass der Einschränkungen im Haushalt in Prozentzahlen anzugeben.
Die Ärztin des RAD der IV-Stelle, Dr. med. D. G._, Fachärztin für Psychiatrie und Psychotherapie, schätzte aufgrund dieser Angaben der behandelnden Ärzte und der erneuten Haushaltabklärung die Einschränkung der Versicherten im Haushalt "zusammenfassend" auf 50 %.
Gestützt auf diese Zusatzabklärungen verfügte die IV-Stelle am 10. Mai 2010, dass die Versicherte ab 1. August 2003 Anspruch auf eine ganze und ab 1. Januar 2004 Anspruch auf eine Dreiviertelsrente habe.
B. Dagegen liess H._ Beschwerde führen und beantragen, es sei ihr in Aufhebung der angefochtenen Verfügungen eine ganze Rente zuzusprechen, eventualiter sei die Sache an die Vorinstanz zurückzuweisen, damit diese eine Haushaltabklärung durchführe. Sie rügte eine mangelhafte Umsetzung des Entscheids vom 30. November 2007 und reichte einen Bericht der Psychiatriespitex ins Recht. Mit Entscheid vom 7. September 2011 wies das Sozialversicherungsgericht des Kantons Zürich die Beschwerde ab.
C. H._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, unter Gewährung der unentgeltlichen Rechtspflege sei in Aufhebung des vorinstanzlichen Entscheides ein medizinisches Gerichtsgutachten in Auftrag zu geben, welches die Einschränkungen der Beschwerdeführerin im Haushalt abkläre. Eventualiter sei das Verfahren an die Vorinstanz zurückzuweisen, damit diese ein Gutachten in Auftrag gebe. Unter Kosten- und Entschädigungsfolgen seien insbesondere die Kosten für den ins Recht gelegten Bericht der Psychiatriespitex von der Beschwerdegegnerin zu übernehmen.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Vorinstanz und Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (Art. 105 Abs. 2 BGG; vgl. <ref-ruling>).
2. Strittig ist das Ausmass der invaliditätsbedingten Einschränkung der Beschwerdeführerin im Bereich der Haushaltführung und damit zusammenhängend die Frage, ob die Verwaltung den vorinstanzlichen Rückweisungsentscheid vom 30. November 2007 bundesrechtskonform umgesetzt hat. Nicht strittig ist die Statusfrage im Sinne der Qualifizierung der Beschwerdeführerin - wäre sie gesund - als zu 36 % erwerblich und zu 64 % im Haushalt und in der Kindererziehung Tätige.
3. Die Beschwerdeführerin rügt wie schon vor dem kantonalen Gericht eine rechtsverletzende Umsetzung des vorinstanzlichen Rückweisungsentscheides, der ausdrücklich eine medizinische Abklärung der Einschränkung im Haushalt verlangt habe; darüber sei ein Gerichtsgutachten einzuholen. Eine psychiatrische Abklärung sei nicht erfolgt. Die Verwaltung habe lediglich eine Haushaltabklärung veranlasst, was bei psychisch kranken Versicherten nicht ausreiche. Eine Aktenbeurteilung des RAD, welche ohne weitere Begründung und ohne eigene Untersuchung auf den Haushalt-Abklärungsbericht abstelle, sei ungenügend. Die Unterlassung einer psychiatrischen Abklärung der Arbeitsfähigkeit der Beschwerdeführerin stelle eine Verletzung der Untersuchungsmaxime dar und der angefochtene Entscheid verletze somit Bundesrecht.
4. Sämtliche Berichte der behandelnden Ärztinnen der Psychiatrieklinik A._ bzw. deren Ambulatorium die nach dem vorinstanzlichen Rückweisungsentscheid erstellt worden sind, attestieren der Beschwerdeführerin aufgrund ihrer psychischen Krankheit, einer schweren paranoiden Schizophrenie, eine vollständige Arbeitsunfähigkeit. Sie bestätigen, die Versicherte könne ihren Haushalt nur oberflächlich führen (Berichte vom 14. Mai 2008, 24. November 2008, 3. März 2009 und 19. Oktober 2009). Auch im ersten Feststellungsblatt der IV-Stelle vom 27. Oktober 2008 ging der RAD gestützt auf die Berichte der Klinik A._ vorerst von einer vollständigen Arbeitsunfähigkeit der Beschwerdeführerin im Haushalt aus. In Abweichung zu diesen psychiatrischen Einschätzungen der Ärztinnen, die die Beschwerdeführerin ambulant und zeitweise auch stationär behandelten und behandeln, bezifferten die Abklärungspersonen der Invalidenversicherung die Einschränkung im Haushalt auf lediglich 20,1 %. Die bereits vor dem Rückweisungsentscheid vom 30. November 2007 bestandene Diskrepanz konnte auch mit der erneuten Anfrage an die Ärztinnen und Ärzte der Klinik A._ nicht plausibel erklärt werden; diese erläuterten gegenteils, sie könnten die Einschränkung der Versicherten im Haushalt nicht in Prozenten angeben.
5. Es fragt sich, ob mit den durchgeführten Zusatzabklärungen dem vorinstanzlichen Rückweisungsentscheid Genüge getan worden ist.
5.1 Im Entscheid der Vorinstanz vom 30. November 2007 war zweierlei festgestellt worden: Zum einen könne nicht auf die bestehenden Berichte der Ärztinnen des Ambulatoriums A._ abgestellt werden (E. 5.3. am Schluss). Zum andern bedürfe es einer neuen psychiatrischen Beurteilung der Einschränkung der Versicherten im Haushalt (E. 5.4. zweiter Absatz). Die Verwaltung hat in der Folge nur dieselbe behandelnde Ärztin und dieselbe Pflegefachfrau des Psychiatrie-Zentrums A._ noch einmal konsultiert und überdies einen zweiten - im Ergebnis genau gleich lautenden - Haushalt-Abklärungsbericht vom 15. April 2010 in Auftrag gegeben. Weder die Ärztin noch die Pflegefachfrau noch später der leitende Arzt der Klinik A._ haben zu dieser Haushaltabklärung detailliert Stellung genommen. Die RAD-Ärztin Dr. med. D. G._ äusserte sich in der Folge zwar dazu und legte die Einschränkung der Versicherten im Haushalt auf 50 % fest. Dr.med. D. G._ begründete dies damit, dass einerseits die psychiatrischen Stellungnahmen plausibel erscheinen, was den fehlenden Antrieb (Minussymptomatik) betreffe; anderseits könne nicht von einer vollständigen Arbeitsunfähigkeit ausgegangen werden. Die Frage beispielsweise, ob die im Haushaltsbericht geschilderte Fähigkeit der Versicherten, für sich zwei Mahlzeiten täglich kochen und selbstständig Einkäufe tätigen zu können, mit dem Krankheitsbild der Versicherten zu vereinbaren sei - was die behandelnden Ärzte zu verneinen scheinen -, beantwortete auch Dr. med. D. G._ nicht.
5.2 Wenn auch fraglich erscheint, ob die diversen Nachfragen der IV-Stelle bei den behandelnden Ärzten ein geeignetes Vorgehen darstellen, nachdem deren Berichte vom kantonalen Gericht als nicht nachvollziehbar qualifiziert worden waren, so kann darin noch keine Bundesrechtsverletzung erblickt werden. Entscheidend ist, dass nach diesen Zusatzabklärungen bei den behandelnden Ärzten und nach der zweiten Haushaltabklärung dieselbe Situation vorlag wie vor dem Rückweisungsentscheid: Ärztlich attestierte, nicht nachvollziehbar begründete volle Arbeitsunfähigkeit einerseits und Diskrepanz zwischen medizinischer Einschätzung und Haushaltabklärung anderseits. Der summarisch begründete "Mittelweg", den die RAD-Ärztin ohne weitere Untersuchung einschlug, vermag die nach wie vor verbliebenen offenen Fragen nicht zu beantworten. Damit hat die IV-Stelle den Sachverhalt unvollständig festgestellt; es fehlt nach wie vor eine plausible medizinische Einschätzung des Ausmasses der Arbeitsunfähigkeit der Versicherten im Haushalt. Die Vorinstanz, welche im angefochtenen Entscheid davon ausgegangen ist, ihrem Rückweisungsentscheid vom 30. November 2007 sei Genüge getan worden, hat die unvollständige Sachverhaltsfeststellung im Ergebnis geschützt; die Beschwerde ist in diesem Punkt begründet.
6. Die Beschwerdeführerin beantragt zur Hauptsache die Aufhebung des kantonalen Entscheides und die Rückweisung der Angelegenheit an die Vorinstanz zur weiteren Abklärung. Da die Vorgaben des kantonalen Gerichts an die Verwaltung im Entscheid vom 30. November 2007 klar waren, erscheint eine Rückweisung an die Beschwerdegegnerin sachgerecht. Eine psychiatrische Einschätzung der krankheitsbedingten Einschränkung der Beschwerdeführerin im Haushalt durch nicht behandelnde Ärzte ist vorliegend für die Invaliditätsbemessung unabdingbar.
7. 7.1 Die Beschwerdeführerin hat bereits im Vorbescheidverfahren gerügt, die Abklärungen der IV-Stelle würden dem Rückweisungsentscheid nicht genügen. Im vorinstanzlichen Verfahren reichte sie den eigens von ihr in Auftrag gegebenen "Bericht Psychosoziale lebenspraktische Abklärung" der Psychiatriespitex vom 4. Juni 2010 ein. Sowohl vor dem kantonalen Gericht als auch vor Bundesgericht beantragt sie einen Kostenanteil bzw. die Kostenübernahme dieses Berichts durch die Beschwerdegegnerin.
7.2 Die notwendigen Expertenkosten einer Partei werden nach der Rechtsprechung im Rahmen der Prozessentschädigung zugesprochen (SVR 2011 IV Nr. 13 S. 35 f., E. 2; <ref-ruling> f.; Urteil des Eidg. Versicherungsgerichts U 264/99a vom 19. April 2000 E. 4). Im vorliegenden Fall war die Beauftragung zur Erstellung des Berichts durch die Beschwerdeführerin allerdings nicht notwendig; denn die Vorinstanz hatte eine ärztliche Überprüfung im Sinne einer psychiatrischen Abklärung verlangt, was der Bericht der Psychiatriespitex vom 4. Juni 2010 nicht ist. Die Rückweisung zur psychiatrischen Überprüfung des Haushalt-Abklärungsberichts vom 15. April 2010 müsste demzufolge auch ohne Vorliegen des Spitex-Berichts erfolgen; davon scheint auch die Beschwerdeführerin auszugehen. Die Kostenübernahme des Berichts durch die Beschwerdegegnerin lässt sich somit nicht begründen.
8. Dem Ausgang des Verfahrens entsprechend hat die IV-Stelle des Kantons Zürich die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG) und die Beschwerdeführerin für das bundesgerichtliche Verfahren angemessen zu entschädigen (Art. 68 Abs. 2 BGG). Damit wird das Begehren um Gewährung der unentgeltlichen Rechtspflege gegenstandslos.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 7. September 2011 aufgehoben wird. Die Sache wird an die IV-Stelle des Kantons Zürich zurückgewiesen, damit diese im Sinne der Erwägungen verfahre und neu verfüge.
2. Die Gerichtskosten von Fr. 500.- werden der IV-Stelle des Kantons Zürich auferlegt.
3. Die IV-Stelle des Kantons Zürich hat die Beschwerdeführerin für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Sozialversicherungsgericht des Kantons Zürich zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 9. Oktober 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Scartazzini