Sachverhalt:
A. A.a U._, geboren 1968, war bis Oktober 2002 als Raumpflegerin bei der Firma D._ angestellt. Am 29. Oktober 2003 meldete sie sich unter Hinweis auf psychische Probleme bei der Invalidenversicherung zum Leistungsbezug an. Nach der Durchführung medizinischer Abklärungen wies die IV-Stelle Schaffhausen das Leistungsbegehren mit Verfügung vom 26. Juli 2005 ab. Eine dagegen erhobene Einsprache hiess die IV-Stelle mit Entscheid vom 31. August 2006 gut und führte weitere medizinische Abklärungen durch. Dabei holte sie insbesondere das Gutachten des Instituts X._ vom 14. November 2006 ein. Mit Vorbescheid vom 12. April 2007 hielt sie fest, der Invaliditätsgrad betrage 6,37 %, weshalb kein Rentenanspruch bestehe. Nach Einwänden von U._ stellte die IV-Stelle mit Verfügung vom 17. August 2007 einen Invaliditätsgrad von 25 % fest und wies das Leistungsbegehren erneut ab.
Am 19. September 2007 wandte sich U._ mit einer Neuanmeldung an die IV-Stelle und verlangte berufliche Massnahmen und eine Invalidenrente. Mit in Rechtskraft erwachsener Verfügung vom 30. April 2008 eröffnete ihr die IV-Stelle gestützt auf die eigenen Abklärungen und eine Beurteilung durch den Regionalen ärztlichen Dienst (RAD) vom 31. März 2008, dass keine IV-relevante wesentliche Veränderung des Gesundheitszustandes vorliege und das neue Leistungsbegehren daher abgewiesen werde.
A.b Am 10. August 2009 meldete sich U._ erneut zum Leistungsbezug an. Mit Vorbescheid vom 21. August 2009 stellte die IV-Stelle Nichteintreten auf das Leistungsbegehren in Aussicht. Daraufhin reichte die Versicherte den Bericht des Psychiaters Dr. med. E._ vom 3. September 2009 ein, welchem der Bericht der von Frau Dr. phil. G._ im Psychiatriezentrum Y._ durchgeführten testpsychologischen Untersuchung vom 13. August 2009 beilag. Nach Eingang der Stellungnahme des RAD vom 3. November 2009 trat die IV-Stelle mit Verfügung vom 23. November 2009 auf das neue Begehren nicht ein, da nicht glaubhaft dargelegt werde, dass sich die tatsächlichen Verhältnisse seit der letzten ablehnenden Verfügung vom 30. April 2008 in einer für den Leistungsanspruch erheblichen Weise verändert hätten.
B. Die hiegegen erhobene Beschwerde, welcher U._ weitere Berichte des Dr. med. E._ nachfolgen liess, wies das Obergericht des Kantons Schaffhausen mit Entscheid vom 12. November 2010 ab.
C. U._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, der Entscheid des Obergerichts des Kantons Schaffhausen vom 12. November 2010 sowie die Verfügung der IV-Stelle vom 23. November 2009 seien aufzuheben, und die Sache sei an die IV-Stelle zurückzuweisen, damit diese auf das Leistungsbegehren eintrete und dieses prüfe. Gleichzeitig wird um die Gewährung der unentgeltlichen Rechtspflege ersucht.
Ein Schriftenwechsel wurde nicht durchgeführt.
Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Dabei legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
2. Streitig und zu prüfen ist das vorinstanzlich als rechtens beurteilte Nichteintreten der IV-Stelle auf das Leistungsbegehren vom 10. August 2009 mangels Glaubhaftmachung einer anspruchserheblichen Änderung seit der letzten verfügten materiellrechtlichen Leistungsprüfung und Leistungsverweigerung am 30. April 2008.
2.1 Im kantonalen Entscheid werden die gesetzlichen Voraussetzungen des Eintretens auf eine Neuanmeldung nach früherer rechtskräftiger Leistungsverweigerung, insbesondere das Erfordernis der Glaubhaftmachung einer anspruchserheblichen Änderung gemäss Art. 87 Abs. 4 in Verbindung mit Abs. 3 IVV, zutreffend dargelegt. Darauf wird verwiesen.
2.2 Die in Art. 87 Abs. 3 und 4 IVV genannte Eintretensvoraussetzung soll verhindern, dass sich die Verwaltung immer wieder mit gleichlautenden und nicht näher begründeten Rentengesuchen befassen muss (BGE 133 V 108 E. 5.3.1 S. 112 mit Hinweisen). Art. 87 Abs. 4 IVV beruht auf dem Grundgedanken, dass die Rechtskraft der früheren Verfügung einer neuen Prüfung so lange entgegensteht, als der seinerzeit beurteilte Sachverhalt sich in der Zwischenzeit nicht verändert hat. Um zu verhindern, dass sich die Verwaltung mit gleich lautenden und nicht näher begründeten, d.h. keine Veränderung des Sachverhaltes darlegenden Rentengesuchen befassen muss, ist sie nach Eingang einer Neuanmeldung demnach zunächst zur Prüfung verpflichtet, ob die Vorbringen der versicherten Person überhaupt glaubhaft sind; verneint sie dies, so erledigt sie das Gesuch ohne weitere Abklärungen durch Nichteintreten. Dabei verfügt sie bei der Beurteilung der Eintretensvoraussetzungen über einen gewissen Spielraum und wird u.a. berücksichtigen, ob die frühere Verfügung nur kurze oder schon längere Zeit zurückliegt, und dementsprechend an die Glaubhaftmachung höhere oder weniger hohe Anforderungen stellen (BGE 109 V 108 E. 2b S. 114, 262 E. 3 S. 264; Urteil I 489/05 vom 4. April 2007 E. 4.3, nicht publ. in: BGE 133 V 263, aber in: SVR 2007 IV Nr. 40 S. 135; SZS 2009 S. 397, 9C_286/2009 E. 2.2.1).
2.3 Das gegenüber dem im Sozialversicherungsrecht sonst üblichen Beweisgrad der überwiegenden Wahrscheinlichkeit (BGE 126 V 353 E. 5b S. 360) herabgesetzte Beweismass des "Glaubhaftmachens" im Sinne von Art. 87 Abs. 3 IVV unterliegt weniger strengen Anforderungen als im Zivilprozessrecht (im Einzelnen Urteil 9C_68/2007 vom 19. Oktober 2007 E. 4.4.1 mit Hinweisen); es genügt, dass für das Vorhandensein des geltend gemachten rechtserheblichen Sachumstandes wenigstens gewisse Anhaltspunkte bestehen, auch wenn durchaus noch mit der Möglichkeit zu rechnen ist, bei eingehender Abklärung werde sich die behauptete Änderung nicht erstellen lassen (SZS 2009 S. 397, 9C_286/2009 E. 2.2.2; Urteil 9C_68/2007 vom 19. Oktober 2007 E. 4.4.1; je mit Hinweisen). Erheblich ist eine Sachverhaltsänderung, wenn angenommen werden kann, der Anspruch auf eine Invalidenrente sei begründet, falls sich die geltend gemachten Umstände als richtig erweisen sollten (SVR 2003 IV Nr. 25 S. 76 E. 2.2 und 2.3).
2.4 In erster Linie ist es Sache der versicherten Person, substanzielle Anhaltspunkte für eine allfällige neue Prüfung des Leistungsanspruchs darzulegen. Wenn die der Neuanmeldung beigelegten ärztlichen Berichte so substanziiert sind, dass sich eine neue Prüfung aufgrund weiterer Erkenntnisse allenfalls rechtfertigen würde, ist die IV-Stelle zur Nachforderung weiterer Angaben dann verpflichtet, wenn den - für sich allein genommen nicht Glaubhaftigkeit begründenden - Arztberichten konkrete Hinweise entnommen werden können, wonach möglicherweise eine mit weiteren Erhebungen erstellbare rechtserhebliche Änderung vorliegt (Urteil 9C_616/2010 vom 12. Oktober 2010 E. 2.4; zum Ganzen SZS 2009 S. 397, 9C_286/2009 E. 2.2.3).
2.5 Ob eine anspruchserhebliche Änderung im Sinne von Art. 87 Abs. 3 IVV glaubhaft gemacht ist, ist eine vom Bundesgericht nur unter dem Blickwinkel von Art. 105 Abs. 2 BGG überprüfbare Tatfrage. Frei zu beurteilende Rechtsfrage ist hingegen, wie hohe Anforderungen an das Glaubhaftmachen im Sinne von Art. 87 Abs. 3 IVV zu stellen sind (Urteile 9C_616/2010 vom 12. Oktober 2010 E. 2.5; 9C_68/2007 vom 19. Oktober 2007 E. 4.1).
3. 3.1 Der kantonale Gerichtsentscheid hält zum Gesundheitszustand, wie er sich im Zeitpunkt der leistungsablehnenden Verfügung vom 30. April 2008 darbot fest, gemäss Bericht des Psychiatriezentrums der Klinik Y._ vom 11. Februar 2008 sei eine mittelgradige depressive Episode mit somatischem Syndrom (ICD-10 F32.11) diagnostiziert worden, wobei der Befund im Wesentlichen jenem der bisherigen psychiatrischen Untersuchungen entsprochen habe. Die Versicherte habe über eine Einschränkung der Gemütsempfindungen, Kraft- und Freudlosigkeit sowie Energiemangel berichtet und sich niedergeschlagen, traurig und ängstlich gefühlt. Zudem habe ein somatisches Syndrom vorgelegen. Laut Stellungnahme des RAD vom 31. März 2008 habe der Psychostatus über grosse Teile auf den subjektiven Angaben der Versicherten beruht. Aufgrund der bei den Akten liegenden ärztlichen Berichte habe dieselbe Problematik bereits schon früher bestanden.
3.2 Im Rahmen der Neuanmeldung vom 10. August 2009 hat die Verwaltung keine eigenen Abklärungen getroffen, sondern sich nach Rücksprache mit dem RAD auf die von der Beschwerdeführerin beigebrachten Berichte des Dr. med. E._ vom 3. September 2009 und von Frau Dr. phil. G._ vom 13. April 2009 gestützt. Nach den Feststellungen der Vorinstanz enthalten die psychologischen Testuntersuchungen von Frau Dr. phil. G._ gemäss den Ausführungen von Dr. med. E._ neue Befunde, welche seine früheren Beurteilungen grundsätzlich bestätigen würden. Im Bericht vom 3. September 2009 habe der behandelnde Psychiater den psychischen Zustand der Versicherten im Sinne einer negativen Krankheitsentwicklung und Persönlichkeitsveränderung als schlechter als vor zwei Jahren bezeichnet. Die wiederholt erwähnten hysterischen (resp. histrionischen) Züge mit Simulations- oder präziser Aggravationstendenz seien nicht eine Erklärung für das Krankheitsbild, sondern Teil davon. Nach den weiteren Feststellungen des kantonalen Gerichts ergibt sich gemäss Frau Dr. phil. G._ als Befund eine deutliche depressive Symptomatik mit Selbstabwertung, Hoffnungslosigkeit, Suizidgedanken, Antriebsstörungen, Entscheidungsschwierigkeiten sowie somatischen Symptomen. Die Psychologin gehe zudem davon aus, dass mit grosser Wahrscheinlichkeit eine Angstproblematik vorliege, allerdings in geringerem Ausmass als von der Versicherten angegeben. Eine Borderline-Persönlichkeitsstörung könne hingegen ausgeschlossen werden. Die Tendenz, die Beschwerden aggraviert darzustellen, könne als Versuch interpretiert werden, in ihrem Leiden gesehen zu werden. Trotz allem verfüge die Versicherte jedoch durchaus über Ressourcen. Aufgrund einer Gesamtwürdigung der Akten kam das kantonale Gericht zum Schluss, dass in diesen neuen Berichten die gleichen subjektiven Angaben der Beschwerdeführerin und dieselben Befunde erwähnt würden, wie im Bericht des Psychiatriezentrums Y._ vom 11. Februar 2008. Eine objektiv begründbare Verschlechterung des Gesundheitszustandes seit der Verfügung vom 30. April 2008 sei somit nicht glaubhaft gemacht. Die IV-Stelle sei daher zu Recht nicht auf die Neuanmeldung eingetreten, woran auch die erst im Beschwerdeverfahren eingereichten Berichte - soweit sie überhaupt berücksichtigt werden könnten (bezüglich Nachreichung von Beweismitteln im Neuanmeldungsverfahren vgl. BGE 130 V 64 E. 5.2 S. 69) - nichts zu ändern vermöchten.
4. 4.1 Die Beschwerdeführerin rügt, mit der Verneinung der Eintretensvoraussetzungen sei die Vorinstanz von deutlich überspannten Anforderungen an die Glaubhaftmachung im Sinne von Art. 87 Abs. 3 IVV ausgegangen. Überdies sei ihre Würdigung der medizinischen Akten willkürlich (Art. 9 BV) und verletze den Untersuchungsgrundsatz (Art. 43 Abs. 1 ATSG; Art. 61 lit. c ATSG). Insbesondere sei, entgegen der Auffassung des kantonalen Gerichts, für das Eintreten auf eine Neuanmeldung keine gegenüber früheren Berichten veränderte Diagnosestellung erforderlich. Vielmehr genüge eine Verschlechterung des Gesundheitsschadens im Sinne einer quantitativen Ausweitung der bisherigen Befunde. Eine solche Verschlechterung in Form einer negativen Krankheitsentwicklung und einer Persönlichkeitsveränderung habe der behandelnde Psychiater Dr. med. E._ im Bericht vom 3. September 2009 aufgrund einer aktuellen Einschätzung des Gesundheitszustandes ohne weiteres zumindest glaubhaft gemacht und dies in den im vorinstanzlichen Verfahren nachgereichten Berichten ausdrücklich bestätigt.
4.2 Das kantonale Gericht hat - dem Zweck der Eintretensvoraussetzungen von Art. 87 Abs. 3 und 4 IVV entsprechend (vgl. E. 2.2 hievor) - die mit der Neuanmeldung dargelegten Anscheinstatsachen zu Recht mit den Verhältnissen verglichen, die den medizinischen Untersuchungsberichten zu entnehmen waren, welche der letzten materiellen Abweisung des Leistungsbegehren zugrunde lagen. Das Untersuchungsprinzip, nach welchem der Sachverhalt von Amtes wegen vollständig abgeklärt werden muss (vgl. Art. 43 Abs. 1 ATSG; Art. 61 lit. c ATSG) kommt demgegenüber erst im Rahmen des Eintretens auf eine Neuanmeldung zum Tragen. Wenn die Vorinstanz davon ausging, die vor Erlass der Verfügung vom 30. April 2008 gestellte Diagnose einer mittelgradigen depressiven Episode mit somatischem Syndrom gemäss Bericht des Psychiatriezentrums Y._ vom 11. Februar 2008 entspreche der von Dr. phil. G._ und Dr. med. E._ erwähnten depressiven Symptomatik inklusive somatischer Symptome, ist dies nicht offensichtlich unrichtig (Art. 97 Abs. 1 BGG; Art. 105 Abs. 2 BGG). Der Beschwerdeführerin ist darin beizupflichten, dass eine anspruchserhebliche Änderung auch gegeben sein kann, wenn sich ein Leiden - bei gleicher Diagnose - in seiner Intensität und in seinen Auswirkungen auf die Arbeitsfähigkeit verändert hat, wie dies etwa bei der Chronifizierung einer psychischen Störung zutreffen kann (SZS 2009 S. 397, 9C_286/2009 E. 3.2.2). Die Vorinstanz hat dies nicht verkannt. Im angefochtenen Entscheid hält sie ergänzend fest, Dr. med. E._ habe schon im Jahre 2005 permanent suizidale Gedanken, Freudlosigkeit, Rückzug und Versagensgefühle der Beschwerdeführerin festgehalten und seine Überzeugung zum Ausdruck gebracht, diese sei psychisch schwer krank. Im Bericht vom 27. Juli 2006 habe er bereits eine seit dem Jahre 2002 bestehende Angstsymptomatik angegeben. Damit seien seine neuen Angaben zum psychischen Gesundheitszustand und der Persönlichkeitsveränderung praktisch deckungsgleich. Nach den Feststellungen der Vorinstanz wurden in den neu eingereichten Arztberichten insgesamt keine psychopathologischen Befunde erhoben, welchen sich Anhaltspunkte für eine Zunahme des Schweregrades des vorbestandenen gesundheitlichen Zustandes entnehmen liessen und damit Anlass für in diese Richtung gehende vertiefte Abklärungen geben würden. Die zu dieser Erkenntnis führende vorinstanzliche Sachverhaltswürdigung ist weder offensichtlich unrichtig noch sonstwie rechtsfehlerhaft im Sinne von E. 1 hievor und daher für das Bundesgericht verbindlich. Die Beschwerdeführerin legt denn auch nicht dar, inwiefern die vorinstanzlichen Feststellungen rechtswidrig oder mit einem klaren Mangel behaftet wären.
4.3 Zu prüfen bleibt, ob das kantonale Gericht in Bezug auf die Glaubhaftmachung einer Verschlechterung des Gesundheitszustandes von einem unrichtigen Beweismass im Sinne zu hoher Beweisanforderungen ausgegangen ist. Die Beschwerdeführerin bejaht dies, weil bereits eine relativ geringe Erhöhung des Invaliditätsgrades von 15 % einen Rentenanspruch zu begründen vermöchte. Zudem sei der Schweregrad einer psychischen Störung oft schwierig zu umschreiben. Zwischen der materiell rechtskräftigen Verfügung vom 30. April 2008 und der Neuanmeldung vom 10. August 2009 liegen fast 11⁄2 Jahre, weshalb an die Glaubhaftmachung nicht allzu hohe Anforderungen zu stellen sind (vgl. BGE 130 V 64 E. 6.2 S. 70). Da sich den im Rahmen der Neuanmeldung aufgelegten Berichten keine klaren Anhaltspunkte für eine richtungweisende Verschlechterung des Gesundheitszustandes im Sinne einer Minderung der Leistungsfähigkeit entnehmen lassen, hat die Vorinstanz mit Blick auf das vorne in E. 2.3 aufgezeigte Beweismass keinen zu hohen Massstab an die Glaubhaftmachung im Sinne von Art. 87 Abs. 3 IVV gestellt und kein Bundesrecht verletzt.
4.4 Unter diesen Umständen muss es mit dem vom kantonalen Gericht bestätigten Nichteintreten der IV-Stelle auf die Neuanmeldung vom 10. August 2009 mangels ausreichender Substanziierung einer anspruchserheblichen Änderung des Sachverhalts sein Bewenden haben.
5. Das Verfahren ist kostenpflichtig (Art. 65 BGG). Die Gerichtskosten werden der unterliegenden Beschwerdeführerin auferlegt (Art. 65 Abs. 4 lit. a in Verbindung mit Art. 66 Abs. 1 BGG). Die unentgeltliche Rechtspflege kann ihr gewährt werden, weil die Bedürftigkeit aktenkundig ist, die Beschwerde nicht als aussichtslos zu bezeichnen ist und die anwaltliche Vertretung geboten war (Art. 64 Abs. 1 und 2 BGG). Es wird indessen ausdrücklich auf Art. 64 Abs. 4 BGG aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Der Beschwerdeführerin wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Rechtsanwalt Roger Gebhard, Schaffhausen, wird als unentgeltlicher Anwalt der Beschwerdeführerin bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Obergericht des Kantons Schaffhausen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 28. März 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Hofer