Sachverhalt:
A. Die 1957 geborene I._ hatte sich erstmals am 12. Juni 2002 bei der Invalidenversicherung zum Bezug von Leistungen angemeldet. Dieses Gesuch wurde von der IV-Stelle Basel-Stadt abgewiesen. Am 28. Januar 2008 reichte die Versicherte erneut ein Leistungsbegehren ein, worauf die IV-Stelle mit Verfügung vom 14. Mai 2008 nicht eintrat. Mit Entscheid vom 17. März 2009 hiess das Sozialversicherungsgericht Basel-Stadt die dagegen erhobene Beschwerde gut und wies die IV-Stelle an, auf die Neuanmeldung einzutreten und das neue Leistungsbegehren zu prüfen. In der Folge gab die IV-Stelle beim Institut X._ ein interdisziplinäres Gutachten (vom 27. Januar 2010) in Auftrag. Gestützt darauf kam sie mit Vorbescheid vom 5. Mai 2010 zum Schluss, die Beschwerdeführerin habe keinen Anspruch auf eine Invalidenrente (Invaliditätsgrad von 20 %). Mit Einwand vom 3. Juni 2010 und ergänzender Begründung vom 25. Juni 2010 reichte die Versicherte zwei Arztberichte vom 1. und 3. Juni 2010 ein und ersuchte um eine Frist bis Ende August 2010, um weitere Berichte des behandelnden Arztes Dr. med. H._ sowie der Kliniken Y._ einzureichen. Mit Schreiben vom 2. Juli 2010 teilte die IV-Stelle mit, es gebe keine weitere Frist mehr, später eintreffende medizinische Berichte würden nicht mehr berücksichtigt. Nachdem die IV-Stelle am 2. Juli 2010 beim Regionalen Ärztlichen Dienst (RAD) rückgefragt hatte, holte sie beim Institut X._ eine Stellungnahme vom 28. Oktober 2010 ein, und nach erneuter Stellungnahme des RAD vom 22. November 2010 erliess sie am 1. Dezember 2010 eine im Wesentlichen dem Vorbescheid vom 5. Mai 2010 entsprechende Verfügung.
B. Die von I._ dagegen erhobene Beschwerde, mit welcher sie mit Bezug auf die Vernehmlassung der IV-Stelle vom 25. Februar 2011 in der Replik vom 4. Mai 2011 eine Verletzung des rechtlichen Gehörs rügte, wies das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 28. Juni 2011 ab.
C. I._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Anträgen, es sei der vorinstanzliche Entscheid aufzuheben und die Sache zur korrekten Verfahrensdurchführung sowie zur Neuprüfung des Rentenanspruchs an die Beschwerdegegnerin zurückzuweisen, eventualiter sei ihr mindestens eine Viertelsrente zuzusprechen. Unter Kosten- und Entschädigungsfolgen sowie mit Begehren um Neuverlegung der Kosten- und Parteientschädigung des kantonalen Verfahrens ersucht sie zudem um Gewährung der unentgeltlichen Verbeiständung.
Die IV-Stelle und das Sozialversicherungsgericht Basel-Stadt schliessen auf Abweisung der Beschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet hat.
Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (Art. 105 Abs. 2 BGG).
2. Die Beschwerdeführerin rügt, das kantonale Gericht habe zu Unrecht, wegen Nichtbeachtung von Verfahrensregeln und unvollständiger Auseinandersetzung mit ihren Argumenten die Gehörsverletzung durch die Beschwerdegegnerin im Rahmen des vorinstanzlichen Verfahrens geschützt.
2.1 Gemäss Art. 29 Abs. 2 BV und Art. 42 Satz 1 ATSG haben die Parteien Anspruch auf rechtliches Gehör. Das rechtliche Gehör dient einerseits der Sachaufklärung, andererseits stellt es ein persönlichkeitsbezogenes Mitwirkungsrecht beim Erlass eines Entscheids dar, welcher in die Rechtsstellung einer Person eingreift. Dazu gehört insbesondere deren Recht, sich vor Erlass des in ihre Rechtsstellung eingreifenden Entscheids zur Sache zu äussern, erhebliche Beweise beizubringen, Einsicht in die Akten zu nehmen, mit erheblichen Beweisanträgen gehört zu werden und an der Erhebung wesentlicher Beweise entweder mitzuwirken oder sich zumindest zum Beweisergebnis zu äussern, wenn dieses geeignet ist, den Entscheid zu beeinflussen (BGE 132 V 368 E. 3.1 S. 370 mit Hinweisen).
2.2 Das Recht auf Akteneinsicht ist wie das Recht, angehört zu werden, formeller Natur. Die Verletzung des Rechts auf Akteneinsicht führt ungeachtet der Erfolgsaussichten der Beschwerde in der Sache selbst zur Aufhebung der angefochtenen Verfügung. Vorbehalten bleiben praxisgemäss Fälle, in denen die Verletzung des Akteneinsichtsrechts nicht besonders schwer wiegt und dadurch geheilt wird, dass die Partei, deren rechtliches Gehör verletzt wurde, sich vor einer Instanz äussern kann, welche sowohl die Tat- als auch die Rechtsfragen uneingeschränkt überprüft (BGE 132 V 387 E. 5.1 S. 390).
Das Akteneinsichtsrecht im Besonderen bezieht sich auf sämtliche verfahrensbezogenen Akten, die geeignet sind, Grundlage des Entscheids zu bilden. Die Akteneinsicht ist demnach auch zu gewähren, wenn dadurch der Entscheid in der Sache nicht beeinflusst werden kann. Die Einsicht in die Akten, die für ein bestimmtes Verfahren erstellt oder beigezogen wurden, kann demnach nicht mit der Begründung verweigert werden, die betreffenden Dokumente seien für den Verfahrensausgang belanglos. Es muss dem Betroffenen selber überlassen sein, die Relevanz der Akten zu beurteilen (BGE 132 V 387 E. 3.2 S. 389). Um Akteneinsicht zu erhalten, haben die Rechtsuchenden grundsätzlich ein Gesuch einzureichen. Dies bedingt, dass sie über den Beizug neuer entscheidwesentlicher Akten informiert werden, welche sie nicht kennen und auch nicht kennen können (BGE 132 V 389 E. 6.2 S. 391).
3. 3.1 Die Beschwerdeführerin macht geltend, die IV-Stelle habe ihren leistungsabweisenden Vorbescheid vom 5. Mai 2010 auf das Gutachten des Instituts X._ vom 27. Januar 2010 gestützt. Sie habe die Beschwerdegegnerin sodann um Einsicht in die Akten ersucht, welche ihr am 20. Mai 2010 zugestellt wurden. Am 3. Juni 2010 habe sie dagegen Einwand erhoben, welchen sie mit Schreiben vom 25. Juni 2010 ergänzend begründet habe. Dabei habe sie um eine Frist bis Ende August 2010 ersucht, um weitere Berichte des behandelnden Arztes Dr. med. H._ sowie der Kliniken Y._ vom 1. Juni 2010 einzureichen. Eventualiter habe sie den Antrag gestellt, die IV-Stelle solle die entsprechenden Einschätzungen zur Ergänzung der medizinischen Akten direkt bei Dr. med. H._ und der Kliniken Y._ einholen. Mit Schreiben vom 2. Juli 2010 habe die IV-Stelle mitgeteilt, es gebe keine weitere Frist mehr, später eintreffende medizinische Berichte würden nicht mehr berücksichtigt, da es nicht Sinn des Vorbescheidverfahrens sei, weitere Abklärungen einzuleiten. Ohne die Versicherte darüber zu informieren, habe die IV-Stelle aufgrund des Einwands vom 3. Juni 2010 ergänzende Stellungnahmen beim Institut X._ sowie beim RAD eingeholt und, ohne ihr diese ergänzenden medizinischen Akten zur Kenntnis zu bringen, am 1. Dezember 2010 die Verfügung erlassen, mit welcher ihr Leistungsbegehren abgewiesen wurde.
3.2 Das kantonale Gericht hat im angefochtenen Entscheid ausgeführt, aus der Verfügung vom 1. Dezember 2010 gehe eindeutig hervor, dass die IV-Stelle bei den Gutachtern rückgefragt hatte. Zwar wäre es wünschenswert gewesen, wenn sie diese Stellungnahmen der Beschwerdeführerin hätte zukommen lassen. Indessen sei zu berücksichtigen, dass die vertretene Beschwerdeführerin aufgrund dieser in der Verfügung enthaltenen Information die Möglichkeit gehabt hätte, in die Akten Einsicht zu nehmen. In ihrer Vernehmlassung zur Beschwerde führt die Vorinstanz aus, es sei in der Tat unschön, dass die IV-Stelle die nachträglich eingeholten Akten nicht zugestellt habe. Eine Verletzung des rechtlichen Gehörs sei dies aber noch nicht. Auf jeden Fall wäre es keine Verletzung, die einer Heilung im Beschwerdeverfahren nicht zugänglich wäre. Die IV-Stelle habe in der angefochtenen Verfügung deutlich angeführt, dass sie bei den Gutachtern zurückgefragt hatte. Sie habe das Ergebnis der Rückfrage auch in der Verfügung zusammengefasst. Der Beschwerdeführerin müsse damit ausreichend klar gewesen sein, dass neue Akten erstellt wurden. Es liege grundsätzlich an der Beschwerdeführerin, Einsicht in die Akten zu verlangen, was sie jedoch nie ausdrücklich gemacht habe. Dass der Beschwerdeführerin im Rahmen des Gerichtsverfahrens die neu erstellten IV-Dokumente nicht vollständig zugestellt worden seien, sei möglich. Es sei richtig, dass ausgerechnet die Ergänzung des Administrativgutachtens in der offiziellen Verfügung vom 5. Mai 2011 nicht aufgeführt sei. Selbstverständlich sei aber vorgesehen gewesen, diese Ergänzung ebenfalls zuzustellen. So sei sie denn auch in der internen Verfügung aufgeführt. Die Ergänzung des Instituts X._ finde sich unter den beim Sozialversicherungsgericht eingescannten IV-Akten. Es handle sich hier um ein Versehen. Angesichts der Umstände habe Sinn der Verfügung vom 5. Mai 2011 nur gewesen sein können, genau diese Ergänzung (samt deren Auftrag und den Berichten des RAD) zuzustellen. Dies hätte auch dem Vertreter der Beschwerdeführerin auffallen müssen, nicht zuletzt deshalb, weil ihm die Anfrage an das Institut X._ ja zugestellt worden sei. Aber selbst hier habe sich die Beschwerdeführerin nicht von sich aus gemeldet und die fehlende Akte moniert.
4. 4.1 Aus den Akten geht hervor, dass die IV-Stelle, nachdem die Beschwerdeführerin am 25. Juni 2010 um eine Frist bis Ende August 2010 ersucht und den Antrag gestellt hatte, eventualiter solle die IV-Stelle die entsprechenden Einschätzungen direkt bei Dr. med. H._ und der Kliniken Y._ einholen, der Beschwerdeführerin mit Schreiben vom 2. Juli 2010 lediglich mitgeteilt hatte, es gebe keine weitere Frist mehr und später eintreffende medizinische Berichte würden nicht mehr berücksichtigt, da es nicht Sinn des Vorbescheidverfahrens sei, weitere Abklärungen einzuleiten. Unbestritten ist ferner, dass die IV-Stelle am 2. Juli 2010 beim RAD schriftlich rückgefragt und gleichentags eine (schriftliche) Antwort bekommen hatte, am 10. September 2010 beim Institut X._ eine ergänzende Stellungnahme (vom 28. Oktober 2010) eingeholt und am 22./26. November 2010 eine weitere schriftliche "Besprechung" mit dem RAD geführt hatte, ohne dass diese medizinischen Akten der Beschwerdeführerin zur Einsicht gegeben wurden. Daraus folgt, dass der Verfügung vom 1. Dezember 2010 eine Aktenlage zu Grunde lag, welche die Beschwerdeführerin nicht umfassend kannte und auch nicht kennen konnte, da sie über den Beizug derselben vor Erlass der Verfügung nicht informiert worden war und somit auch kein Gesuch um Akteneinsicht hätte einreichen können. Dies stellt zweifellos eine Verletzung des rechtlichen Gehörs dar.
4.2 Was die Frage nach der Heilung betrifft, so sind die Argumente der Vorinstanz, aus der angefochtenen Verfügung gehe hervor, dass die IV-Stelle bei den Gutachtern vor Erlass derselben nachgefragt habe, unbehelflich. Denn in der Verfügung steht lediglich "Zu den von Ihnen vorgebrachten Punkten haben wir die Gutachter zurückgefragt". Daraus, wie auch aus der sonstigen Begründung der Verfügung lässt sich nicht entnehmen, dass vertiefende und schriftliche Stellungnahmen - auch seitens des RAD - eingeholt wurden, dies umso weniger, als die IV-Stelle mit Schreiben vom 2. Juli 2010 der Beschwerdeführerin mitgeteilt hatte, es sei nicht Sinn des Vorbescheidverfahrens, weitere Abklärungen zu tätigen. Aus der Stellungnahme der IV-Stelle zu den Einwänden der Beschwerdeführerin (in der Verfügung vom 1. Dezember 2010) lässt sich nicht ableiten, es handle sich dabei um die Ergebnisse der Rückfrage, da von "unsere Argumentation" und nicht derjenigen der Gutachter gesprochen wird. Es lag daher nicht auf der Hand, dass eine zusätzliche - materielle - Aktenergänzung stattgefunden hatte, die über eine - formlose - Vergewisserung, wie der zitierte Satz im Gesamtkontext vielmehr vermuten lässt, hinausging. Die Beschwerdeführerin hatte demnach keine Veranlassung, von sich aus bei der Beschwerdegegnerin nachzufragen, ob erweiterte Unterlagen eingeholt worden seien. Erst aufgrund der Ausführungen der IV-Stelle zur Beschwerde im vorinstanzlichen Verfahren war für die Versicherte klar erkennbar, dass ergänzende medizinische Akten eingeholt worden waren, worauf sie in der Replik vom 4. Mai 2011 mit Geltendmachung der Verletzung des rechtlichen Gehörs auch hinwies. In der Folge stellte die Vorinstanz der Beschwerdeführerin eine von ihr bestimmte Auswahl der "neuen" IV-Dokumente zu. Dabei räumt sie in der Vernehmlassung selber ein, dass diese aus Versehen nicht vollständig waren. Ihr Einwand, die Beschwerdeführerin habe sich nicht von sich aus gemeldet, obwohl ihr der Mangel hätte auffallen müssen, dringt bei den gegebenen Umständen nicht durch. Es ist nicht Sinn des Instituts der Heilung des rechtlichen Gehörs, dass sich die Beschwerdeinstanz selber über den Grundsatz des rechtlichen Gehörs hinwegsetzt, um Verfahrensmängel der Verwaltung zu beheben. Dies gilt umso mehr, als die (unvollständige) Aktenzustellung erst - und keine ganzen - 14 Tage vor Abschluss des Schriftenwechsels erfolgte.
4.3 Damit ist die Rüge der Beschwerdeführerin, die Vorinstanz habe das rechtliche Gehör verletzt, begründet. Die Verletzung von Bundesrecht (vgl. E. 1) im Sinne des Rechts auf Akteneinsicht führt ungeachtet der Erfolgsaussichten der Beschwerde in der Sache selbst zur Aufhebung des angefochtenen Entscheides. Die Sache ist zur korrekten Verfahrensdurchführung sowie zur Neubeurteilung der Rente an die Beschwerdegegnerin zurückzuweisen.
5. Die Rückweisung der Sache an die Verwaltung zur korrekten Verfahrensdurchführung gilt für die Frage der Auferlegung der Gerichtskosten wie auch der Parteientschädigung als vollständiges Obsiegen im Sinne von Art. 66 Abs. 1 sowie Art. 68 Abs. 1 und 2 BGG (BGE 132 V 215 E. 6.1 S. 235; Urteil 8C_671/2007 vom 13. Juni 2008 E. 4.1). Bei diesem Verfahrensausgang hat die unterliegende IV-Stelle die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG). Der obsiegenden, anwaltlich vertretenen Beschwerdeführerin steht eine Parteientschädigung zu (Art. 68 Abs. 1 BGG). Das Gesuch um Gewährung der unentgeltlichen Verbeiständung ist gegenstandslos.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Sozialversicherungsgerichts des Kantons Basel-Stadt vom 28. Juni 2011 und die Verfügung der IV-Stelle Basel-Stadt vom 1. Dezember 2010 aufgehoben werden und die Sache an die IV-Stelle zurückgewiesen wird, damit sie nach korrekter Verfahrensdurchführung neu verfüge.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat die Beschwerdeführerin für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Sozialversicherungsgericht des Kantons Basel-Stadt zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht Basel-Stadt und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 20. April 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Scartazzini