Sachverhalt:
A. C._ (geboren 1962), verheiratet und Mutter von fünf, zum Teil erwachsenen Kindern, meldete sich am 2. Dezember 2005 bei der Invalidenversicherung zum Rentenbezug an. Nach Abklärung der gesundheitlichen und hauswirtschaftlichen Verhältnisse ermittelte die IV-Stelle Basel-Landschaft in Anwendung der gemischten Methode ab 1. Januar 2007 einen Invaliditätsgrad von 26 % und ab 1. August 2009 einen solchen von 24 %. Gestützt darauf lehnte sie nach durchgeführtem Vorbescheidverfahren mit Verfügung vom 2. August 2010 einen Anspruch auf eine Invalidenrente ab.
B. Die hiegegen erhobene Beschwerde wies das Kantonsgericht Basel-Landschaft mit Entscheid vom 10. Februar 2011 ab.
C. C._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides sei die IV-Stelle anzuweisen, weitere Abklärungen in der Sache vorzunehmen und hernach über ihre Ansprüche neu zu befinden. Ferner beantragt sie die unentgeltliche Prozessführung und Verbeiständung.
Die IV-Stelle Basel-Landschaft schliesst auf Abweisung der Beschwerde. Das kantonale Gericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.2 S. 252 mit Hinweisen; <ref-ruling> E. 2.2 S. 550; <ref-ruling> E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254).
1.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Offensichtlich unrichtig im Sinne von Art. 97 Abs. 1 BGG ist die Sachverhaltsfeststellung, wenn sie willkürlich ist (<ref-ruling> E. 1.4.1 S. 39). Die entsprechende Rüge prüft das Bundesgericht nur insoweit, als sie in der Beschwerde explizit vorgebracht und substanziiert begründet worden ist.
2. 2.1 Unbestritten ist, dass die Invalidität der Beschwerdeführerin nach der gemischten Methode zu bemessen ist und der Anteil der Erwerbstätigkeit bis Juli 2009 mit 25 % und ab August 2009 mit 37 % zu veranschlagen ist. Entsprechend beträgt der Anteil der Haushaltstätigkeit unbestritten 75 % und ab August 2009 63 %. Allerdings stellt sich doch die Frage, ob bei der Beschwerdeführerin die gemischte Methode zur Anwendung zu bringen ist, nachdem diese selber nie erwerbstätig war, keine Schule besucht hatte, über keine berufliche Ausbildung verfügt und einen Haushalt mit sechs Personen zu führen hat. Dies kann aber aus den nachfolgenden Gründen offenbleiben.
2.2 Hinsichtlich der zumutbaren Arbeitsleistung als Erwerbstätige rügt die Beschwerdeführerin eine Verletzung von Art. 43 ATSG. Sie macht geltend, aufgrund des Arztberichts von Dr. med. H._ vom 25. Januar 2010 könne sie keine 30%ige Arbeits- und Leistungsfähigkeit erbringen, wie dies die Vorinstanz angenommen habe. Aufgrund der raschen Ermüdbarkeit sowie aufgrund der Gedächtnis- und Konzentrationsstörungen sei auch im Rahmen eines 30 %-Pensums von einer erheblichen Leistungseinschränkung auszugehen und die täglich zumutbare Arbeits- und Leistungsfähigkeit von 30 % könne aufgrund der psychisch bedingten Beeinträchtigungen nur im Rahmen eines bedeutend höheren Arbeitspensums erbracht werden. In welchem zeitlichen Umfang die 30%ige Arbeits- und Leistungsfähigkeit erbracht werden könne, ergebe sich aus den Akten jedoch nicht. Gestützt auf Art. 43 ATSG wäre die IV-Stelle verpflichtet gewesen, dies abzuklären.
2.2 Hinsichtlich der zumutbaren Arbeitsleistung als Erwerbstätige rügt die Beschwerdeführerin eine Verletzung von Art. 43 ATSG. Sie macht geltend, aufgrund des Arztberichts von Dr. med. H._ vom 25. Januar 2010 könne sie keine 30%ige Arbeits- und Leistungsfähigkeit erbringen, wie dies die Vorinstanz angenommen habe. Aufgrund der raschen Ermüdbarkeit sowie aufgrund der Gedächtnis- und Konzentrationsstörungen sei auch im Rahmen eines 30 %-Pensums von einer erheblichen Leistungseinschränkung auszugehen und die täglich zumutbare Arbeits- und Leistungsfähigkeit von 30 % könne aufgrund der psychisch bedingten Beeinträchtigungen nur im Rahmen eines bedeutend höheren Arbeitspensums erbracht werden. In welchem zeitlichen Umfang die 30%ige Arbeits- und Leistungsfähigkeit erbracht werden könne, ergebe sich aus den Akten jedoch nicht. Gestützt auf Art. 43 ATSG wäre die IV-Stelle verpflichtet gewesen, dies abzuklären.
2.3 2.3.1 Die IV-Stelle hat für die Beurteilung der Arbeitsfähigkeit der Beschwerdeführerin auf die von ihr eingeholten Gutachten des Rheumatologen Dr. med. J._ vom 19. März 2009 und des Psychiaters Dr. med. Z._ vom 23. März 2010 abgestellt. Die Vorinstanz hat die Frage, ob für die Beurteilung der (Rest-) Arbeitsfähigkeit auf die Ergebnisse der Gutachter Dr. med. J._ und Z._ oder aber mit der Beschwerdeführerin auf die Einschätzungen anderer Ärzte, namentlich des Dr. med. H._ abzustellen ist, offen gelassen, da letzterer unter allen involvierten Fachärzten die niedrigste Arbeitsfähigkeit mit 30 % attestiere und sich daraus dennoch kein Rentenanspruch ergebe. Damit fehlt es mit Bezug auf die zumutbare Arbeitsleistung an rechtsgenüglichen tatsächlichen Feststellungen. Eine unvollständige Sachverhaltsfeststellung stellt eine vom Bundesgericht ebenfalls zu korrigierende Rechtsverletzung im Sinne von Art. 95 lit. a BGG dar (Seiler/von Werdt/Güngerich, Kommentar zum Bundesgerichtsgesetz, Bern 2007 N. 24 zu Art. 97). Folglich kann das Bundesgericht die vorinstanzliche Sachverhaltsfeststellung von Amtes wegen ergänzen (Art. 105 Abs. 2 BGG). Wie nachstehend dargelegt wird, drängt sich auf, anstatt den Arztbericht von Dr. med. H._ die Gutachten und Stellungnahmen von Dr. med. J._ sowie Dr. med. Z._ und die Abklärungsberichte Haushalt für die Beurteilung der Arbeitsfähigkeit der Beschwerdeführerin heranzuziehen.
2.3.2 Dr. med. H._ hat, wie aus seinem Arztbericht vom 25. Januar 2010 und auch aus seinem Schreiben vom 24. April 2010 hervorgeht, die Beschwerdeführerin gar nicht selber behandelt, sondern bei seinen Angaben lediglich auf die Erkenntnisse der bei ihm angestellten Psychologin T._ abgestellt. Erst in einem späteren Zeitraum fand durch Dr. med. H._ selbst eine Behandlung statt (vgl. das von der Beschwerdeführerin im Rahmen des Verfahrens vor Vorinstanz eingereichte Schreiben vom 22. August 2010). Eine blosse Supervision einer Psychologin ist nicht einer direkten Behandlung einer Patientin gleichzusetzen. Bei einer solchen Konstellation kann aber die von Dr. med. H._ angegebene Arbeitsunfähigkeit von 70 % nicht für die Urteilsfindung herangezogen werden, da dessen Befund nicht auf eigener Wahrnehmung beruht. Nur weil dieser den tiefsten Wert an Arbeitsfähigkeit offenbar aufgrund der Berichte der beigezogenen Psychologin festhielt, kann dies nicht Grund sein, diese Beurteilung als massgebend zu betrachten. Im Übrigen mutet vor dem Hintergrund, dass Dr. med. H._ offensichtlich die Beschwerdeführerin erstmals am 18. Mai 2010 selber behandelte, auch die von ihm am 24. April 2010 angebrachte Kritik am Gutachten resp. an der Stellungnahme von Dr. med. Z._ eher befremdlich an. Insbesondere kritisiert Dr. med. H._ dort, es sei unklar, wie lange das Gespräch von Dr. med. Z._ mit der Beschwerdeführerin gedauert habe. Selber hat Dr. med. H._ aber offensichtlich mit der Beschwerdeführerin in jenem Zeitpunkt noch gar keinen Kontakt gehabt. Unter diesen Umständen ist es doch erstaunlich, wenn Dr. med. H._ die Erkenntnisse von Dr. med. Z._, der mehrfach eine Exploration der Beschwerdeführerin vornahm, in Frage stellt.
2.3.3 Dr. med. H._ entnimmt aus der Stellungnahme von Dr. med. Z._ "eine Tendenz zugunsten der Versicherung". Belegt wird diese doch recht schwerwiegende Behauptung durch Dr. med. H._ aber nicht. Es ist auch nicht erkennbar, warum Dr. med. Z._ gegen die Beschwerdeführerin voreingenommen gewesen sein sollte resp. dass er eine einseitige Begutachtung zugunsten der Invalidenversicherung vornahm. Die Begutachtung durch Dr. med. Z._ wurde der damals bereits anwaltlich vertretenen Beschwerdeführerin korrekt angezeigt, wobei anzumerken ist, dass zuerst ein Beizug von Dr. med. O._ in Erwägung gezogen worden war. Dr. med. H._ dokumentiert jedoch mit solchen Äusserungen selber, dass er für die Beschwerdeführerin Partei nimmt, indem er das Ergebnis der für die Beschwerdeführerin ungünstigen Gutachten Dr. med. Z._ in Frage zu stellen und zu disqualifizieren versucht. Jedoch rechtfertigt sich wegen seiner Kritik nicht, die Gutachten und Stellungnahmen von Dr. med. Z._ nicht als aussagekräftig zu beurteilen. Wenn Dr. med. Z._ zu einer anderen Beurteilung der Arbeitsfähigkeit der Beschwerdeführerin kommt als Dr. med. H._, der sich dafür auch lediglich auf die Berichte der von ihm beigezogenen Psychologin abstützte, heisst dies nicht, dass die Beurteilung des Gutachters Dr. med. Z._ unzutreffend wäre. Die psychiatrische Exploration kann von der Natur der Sache her nicht ermessensfrei erfolgen und eröffnet dem begutachtenden Psychiater deshalb praktisch immer einen gewissen Spielraum, innerhalb dessen verschiedene medizinisch-psychiatrische Interpretationen möglich, zulässig und zu respektieren sind, sofern der Experte lege artis vorgegangen ist. Daher und unter Beachtung der Divergenz von medizinischem Behandlungs- und Abklärungsauftrag (<ref-ruling> E. 4 S. 175; s. auch Urteil I 701/05 vom 5. Januar 2007 E. 2 in fine, mit zahlreichen Hinweisen) kann es nicht angehen, eine medizinische Administrativ- oder Gerichtsexpertise stets dann in Frage zu stellen und zum Anlass weiterer Abklärungen zu nehmen, wenn die behandelnden Ärzte nachher zu unterschiedlichen Einschätzungen gelangen oder an vorgängig geäusserten abweichenden Auffassungen festhalten. Anders verhält es sich hingegen, wenn die behandelnden Ärzte objektiv feststellbare Gesichtspunkte vorbringen, welche im Rahmen der psychiatrischen Begutachtung unerkannt geblieben und geeignet sind, zu einer abweichenden Beurteilung zu führen (Urteile 8C_694/2008 E. 5.1 und I 51/06 vom 19. September 2006 E. 3.1.2 sowie 8C_567/2010 vom 19. November 2010 E. 3.2.2). Dies ist vorliegend wie dargelegt nicht der Fall, so dass für den psychosomatischen Bereich auf die Beurteilung des Dr. med. Z._ abzustellen ist. Dieser erachtete aus psychiatrischer Sicht keine Diagnose mit Auswirkungen auf die Arbeitsfähigkeit gegeben und stellte am 22. März 2010 keine Arbeitsunfähigkeit fest, nachdem bereits der von der SWICA Gesundheitsorganisation beigezogene Gutachter Dr. med. O._ am 28. Oktober 2005 zum gleichen Schluss gelangt war.
2.4 Im somatischen Bereich holte die Beschwerdegegnerin ein rheumatologisches Gutachten bei Dr. med. J._ vom 19. März 2009 ein, der festhielt, dass in einer nicht rückenbelastenden Tätigkeit, d.h. einer körperlich leichten Tätigkeit ohne Heben, Stossen oder Ziehen über zehn Kilogramm, nicht dauernd vornüber Beugen, nicht Arbeiten in Zwangsstellungen wie kauernd, nicht nur dauerndem Sitzen oder dauerndem Stehen am Ort, keine Einschränkung der Arbeitsfähigkeit bestehe. Dr. med. J._ nahm bereits in seinem Gutachten ausdrücklich und überzeugend zu abweichenden Beurteilungen der Arbeitsfähigkeit der die Beschwerdeführerin behandelnden Ärzten Stellung. Auch äusserte er sich zu den Ausführungen von Prof. Dr. med. M._ vom 15. April 2009 und von Dr. med. A._, wobei er keine neuen Aspekte gegenüber seinem Gutachten vom 19. März 2009 erkannte. Wenn Prof. Dr. med. M._ von einer chronischen Schmerzsymptomatik ausgeht, wird nicht erläutert, warum diese mit dem Beweisgrad der überwiegenden Wahrscheinlichkeit organisch bedingt sein soll. Er gibt in seinem Schreiben vom 10. Juli 2009 selber an, dass die Nervendehnungszeichen nicht eindrücklich waren. Ebenso ist zu vermerken, dass Dr. med. J._ aufgrund der nachgewiesenen Diskopathien lumbal und dem Status nach Diskushernien-Operation auf eine verminderte Belastbarkeit des Achsenorganes erkannte, mithin also eine entsprechende Beeinträchtigung bei der Beurteilung der Arbeitsfähigkeit berücksichtigte. Schliesslich stellte bereits Dr. med. B._ in dem von ihm im Auftrag der SWICA erstellten Gutachten ab Januar respektive April 2006 keine Arbeitsunfähigkeit im Haushalt und in einer erwerblichen Tätigkeit fest. Wie Dr. med. N._ in seiner - gemäss Urteil 9C_323/2009 vom 14. Juli 2009 = SVR 12/2009 IV Nr. 56 E. 4.2 zulässigen - Beurteilung der Akten feststellte, ist lediglich strittig, wie weit ein das altersübliche Mass übersteigende Ausmass der Wirbelsäulenerkrankung und der daraus resultierenden funktionellen Einschränkungen im Hinblick auf die zumutbare Arbeitsfähigkeit im Erwerb wie auch im Aufgabenbereich gegeben ist. Angesichts der umfassenden Begutachtung durch Dr. med. J._ besteht keine Veranlassung durch das Gericht von seiner Beurteilung der Arbeitsfähigkeit der Beschwerdeführerin im somatischen Bereich abzuweichen.
3. 3.1 Die für die Beurteilung massgebende Haushaltsabklärung fand am 23. Oktober 2009 statt und berücksichtigte die von Dr. med. J._ festgehaltenen gesundheitlichen Beeinträchtigungen. Da Dr. med. Z._ - wie vorne in Ziff. 2.3.3 ausgeführt - keine Einschränkung im psychosomatischen Bereich festgestellt hatte, ist auch keine psychiatrische Beurteilung in die Haushaltsabklärung miteinzubeziehen. Daher erging die Haushaltsabklärung in Kenntnis der dafür massgebenden medizinischen Vorgaben.
3.2 Die Beschwerdeführerin kritisiert, dass bei der Haushaltsabklärung die Inanspruchnahme der Kinder in einem Ausmass berücksichtigt worden sei, die mit deren Aufgaben nicht vereinbar und zumutbar sein soll. Die Vorinstanz hat diesbezüglich die Auffassung der IV-Stelle bestätigt und festgehalten, dass diese der Versicherten diesbezüglich obliegenden Schadenminderungspflicht nicht zu extensiv ausgelegt habe. Von den im Zeitpunkt des Abklärungsberichts vom 1. Dezember 2009 bald 18jährigen Tochter D._ (geboren 11. Januar 1992), der 11jährigen E._ (geboren 25. Juli 1998) und der bald 10jährigen I._ (geboren 26. Dezember 1999) kann sehr wohl eine entsprechende Mitarbeit im Haushalt verlangt werden. Dies gilt auch für den im gleichen Haushalt lebenden erwachsenen Sohn S._ (geboren 11. August 1984). Mit einem Einbezug in die Haushaltarbeit wird keineswegs gegen den in Art. 302 ZGB festgelegten Erziehungsauftrag verstossen. Vielmehr wäre eine Erziehung von Kindern nur als einseitig zu betrachten, wenn sie nicht in einem adäquaten Ausmass an der Haushaltarbeit beteiligt würden. Die Haushaltsabklärung berücksichtigt die von den Familienangehörigen zu erwartende Mitarbeit in einem gemäss <ref-ruling> E. 4.2 zulässigen Ausmass.
3.3 Der Abklärungsbericht über die Verhältnisse im Haushalt stellt in der Regel eine geeignete und auch genügende Grundlage für die Invaliditätsbemessung in diesem Tätigkeitsbereich dar. Hinsichtlich seines Beweiswertes sind - analog zur Rechtsprechung zur Beweiskraft von Arztberichten (<ref-ruling> E. 3a S. 352 mit Hinweis) - verschiedene Faktoren zu berücksichtigen. Es ist wesentlich, dass der Bericht von einer qualifizierten Person verfasst wird, die Kenntnis der örtlichen und räumlichen Verhältnisse sowie der sich aus den medizinischen Diagnosen ergebenden Beeinträchtigungen und Behinderungen hat. Weiter sind die Angaben der versicherten Person zu berücksichtigen, wobei divergierende Meinungen der Beteiligten im Bericht aufzuzeigen sind. Der Berichtstext schliesslich muss plausibel begründet und angemessen detailliert bezüglich der einzelnen Einschränkungen sein sowie in Übereinstimmung mit den an Ort und Stelle erhobenen Angaben stehen. Trifft all dies zu, ist der Abklärungsbericht voll beweiskräftig (AHI 2003 S. 215 E. 2.3.2).
Es ist nicht erkennbar und wird auch nicht in rechtsgenüglicher Weise vorgebracht, in welchem Punkt der Abklärungsbericht Haushalt vorliegend diese Grundsätze verletzt haben soll. Vielmehr ist zu bemerken, dass die von der Abklärungsperson festgestellten Einschränkungen doch recht grosszügig zugunsten der Beschwerdeführerin bewertet wurden, da der Einbezug der übrigen Familienmitglieder beispielsweise bei der Wohnungspflege oder auch bei der Position "Verschiedenes" (dort wird in der Haushaltsabklärung vom 21. August 2007, auf welche jene vom 1. September 2009, verweist, die Pflege des Schrebergartens erwähnt), doch weitaus stärker hätte berücksichtigt werden können, wodurch noch eine erheblich tiefere Einschränkung der Beschwerdeführerin im Aufgabenbereich hätte angenommen werden können.
4. Die Beschwerdeführerin macht geltend, dass ihr kein volles Einkommen im Rahmen ihres 37 % Erwerbspensums angerechnet werden könne. Wie dargelegt, besteht bei der Beschwerdeführerin lediglich im somatischen Bereich eine gesundheitliche Einschränkung. Dies erlaubt ihr, eine Erwerbstätigkeit in einem Ausmass auszuüben, dass für den erwerblichen Teil keine Einschränkung resultiert. Es ist diesbezüglich auf die Grundsätze zur Ermittlung des Invaliditätsgrades im Rahmen der gemischten Methode zu verweisen (<ref-ruling>). Eine Wechselwirkung zwischen Erwerbs- und Haushaltstätigkeit (vgl. <ref-ruling>) ist gerade auch unter Berücksichtigung der zumutbaren Mitarbeit der Familienangehörigen im Aufgabenbereich nicht erkennbar und wird von der Beschwerdeführerin im Rahmen der Beschwerde auch nicht weiter substanziiert.
Die Beurteilung der Vorinstanz, dass bei der Beschwerdeführerin kein rentenbegründender Invaliditätsgrad resultiert, ist somit im Ergebnis zu bestätigen.
5. Das Verfahren ist kostenpflichtig (Art. 65 BGG). Die Gerichtskosten werden der unterliegenden Beschwerdeführerin auferlegt (Art. 65 Abs. 4 lit. a in Verbindung mit Art. 66 Abs. 1 BGG). Die unentgeltliche Rechtspflege (im Sinne der Befreiung von den Gerichtskosten; Art. 64 Abs. 1 BGG) und Verbeiständung (Art. 64 Abs. 2 BGG) kann gewährt werden, weil die Bedürftigkeit aktenkundig ist, die Beschwerde nicht als aussichtslos zu bezeichnen ist und die Vertretung durch einen Rechtsanwalt oder eine Rechtsanwältin geboten war. Es wird indessen ausdrücklich auf Art. 64 Abs. 4 BGG aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Der Beschwerdeführerin wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Advokat Daniel Tschopp, Basel, wird als unentgeltlicher Anwalt der Beschwerdeführerin bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Kantonsgericht Basel-Landschaft, Abteilung Sozialversicherungsrecht, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 14. Oktober 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Nussbaumer