Sachverhalt:
A. Die 1973 geborene, zuletzt in der Wäscherei des Spitals X._ tätig gewesene G._ meldete sich im August 2003 wegen eines lumbosakralen Schmerzsyndroms bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Thurgau wies das Rentengesuch mit Verfügung vom 4. April 2008 ab. Das Verwaltungsgericht des Kantons Thurgau bestätigte dies mit Entscheid vom 17. September 2008.
Am 5. März 2010 meldete sich G._ erneut zum Leistungsbezug an und legte verschiedene Arztberichte bei. Die IV-Stelle nahm weitere Abklärungen vor und holte unter anderem die Berichte des Dr. med. E._, Facharzt für Gynäkologie und Geburtshilfe, des Dr. med. L._, FMH für Innere Medizin, und des Dr. med. M._, Psychiatrie und Psychotherapie FMH, ein. Zudem beauftragte sie die Institution Z._ mit einer interdisziplinären medizinischen Begutachtung (Gutachten vom 29. Oktober 2010). Nachdem die IV-Stelle mit Vorbescheid vom 10. November 2010 bei einem ermittelten Invaliditätsgrad von 40 Prozent die Ausrichtung einer Viertelsrente in Aussicht gestellt hatte, reichte die Versicherte den Bericht des Dr. med. M._ vom 7. Dezember 2010 ein. Mit Verfügung vom 7. Februar 2011 sprach die IV-Stelle G._ ab 1. September 2010 eine Viertelsrente zu.
B. G._ erhob dagegen Beschwerde beim Obergericht Appenzell Ausserrhoden. In diesem Verfahren reichte sie Berichte des Dr. med. M._ und des Dr. med. S._ von der Klinik Y._ ein. Mit Entscheid vom 7. Dezember 2011 wies das kantonale Gericht die Beschwerde ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt G._ beantragen, es sei ihr rückwirkend ab 1. September 2010 eine Invalidenrente basierend auf einem Invaliditätsgrad von 100 Prozent zuzusprechen; eventualiter sei die Sache zur Durchführung weiterer Abklärungen hinsichtlich der gynäkologischen Problematik an die IV-Stelle zurückzuweisen.
Das Bundesgericht hat die Akten beigezogen, aber keine Vernehmlassungen eingeholt.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2. 2.1 Die Vorinstanz gelangte zur Hauptsache in Würdigung der Expertise der Institution Z._ vom 29. Oktober 2010, der Berichte des Dr. med. E._ vom 24. November 2008 und 19. April 2010, des Dr. med. L._ vom 17. Oktober 2009 und 19. April 2010, des Dr. med. M._ vom 7. Dezember 2010 und 25. Oktober 2011 und des Dr. med. S._ vom 28. September 2011 zum Schluss, die Beschwerdeführerin sei in somatischer Hinsicht, insbesondere bezüglich der gynäkologischen Beschwerden mit Beckenboden-Problematik (Prolaps) sowie Defäkationsproblemen bei der Ausübung einer leidensangepassten Tätigkeit voll arbeitsfähig. Bezüglich der psychischen Problematik hat das kantonale Gericht ausgeführt, weshalb dem in beweismässiger Hinsicht umfassenden psychiatrischen Teilgutachten der Institution Z._ des Dr. med. B._ der Vorzug zu geben ist gegenüber den Berichten des behandelnden Psychiaters Dr. med. M._. Es folgte daher im Ergebnis der von den Gutachtern der Institution Z._ attestierten Arbeitsfähigkeit von 60 Prozent.
2.2 Die Beschwerdeführerin stellt insbesondere unter Hinweis auf die Berichte des Dr. med. S._ und des Dr. med. M._ die Beweiskraft des Gutachtens der Institution Z._ in Frage. Ferner rügt sie eine willkürliche Beweiswürdigung und Verletzung des Untersuchungsgrundsatzes seitens der Vorinstanz, da diese davon ausgehe, es sei nicht nachvollziehbar, auf welchen Untersuchungen die Schlussfolgerungen des Dr. med. L._ beruhten und dem Mediziner zudem vorwerfe, dieser habe nicht quantitativ und qualitativ aufgezeigt, inwiefern die Versicherte in ihrer Arbeitsfähigkeit eingeschränkt sei. Wenn das kantonale Gericht die Einschätzungen des Dr. med. L._ mit dieser Begründung übergehe, beruhe die Beurteilung der Arbeitsfähigkeit auf einem unvollständig festgestellten Sachverhalt. Des Weitern wirft sie der Vorinstanz vor, Feststellungen zur Arbeitsfähigkeit getroffen zu haben, obwohl medizinische Abklärungen zur gynäkologischen Problematik noch ausstehend waren. Die Rüge einer willkürlichen Beweiswürdigung bringt die Beschwerdeführerin auch hinsichtlich der Berichte des behandelnden Psychiaters Dr. med. M._ vor. Indem die Vorinstanz einzig auf das psychiatrische Teilgutachten des Dr. med. B._ abgestellt habe, habe sie den Gesundheitsschaden und die Arbeitsfähigkeit gestützt auf eine unvollständige Beweisgrundlage beantwortet.
3. 3.1 Der Untersuchungsgrundsatz weist enge Bezüge zum - auf Verwaltungs- und Gerichtsstufe geltenden - Grundsatz der freien Beweiswürdigung auf. Führen die im Rahmen des Untersuchungsgrundsatzes von Amtes wegen vorzunehmenden Abklärungen die Verwaltung oder das Gericht bei pflichtgemässer Beweiswürdigung zur Überzeugung, ein bestimmter Sachverhalt sei als überwiegend wahrscheinlich zu betrachten und es könnten weitere Beweismassnahmen an diesem feststehenden Ergebnis nichts mehr ändern, so liegt im Verzicht auf die Abnahme weiterer Beweise keine Verletzung des Anspruchs auf rechtliches Gehör begründet (antizipierte Beweiswürdigung; <ref-ruling> E. 5.3 S. 148).
3.2 Wenn die Vorinstanz auf die Erfahrungstatsache verweist, dass behandelnde Ärzte im Hinblick auf ihre auftragsrechtliche Vertrauensstellung in Zweifelsfällen mitunter eher zugunsten ihrer Patienten aussagen dürften, so handelt es sich dabei um eine Richtlinie, die als solche mit dem Grundsatz der freien Beweiswürdigung (<ref-law>) vereinbar ist (<ref-ruling> E. 3b Ingress S. 352). Insbesondere erscheint es nicht geboten, ein medizinisches Gutachten stets dann in Frage zu stellen und zum Anlass weiterer Abklärungen zu nehmen, wenn die behandelnden Ärzte zu anderslautenden Einschätzungen gelangen. Vorbehalten bleiben Fälle, in denen sich eine klärende Ergänzung des medizinischen Dossiers aufdrängt, weil die behandelnden Ärzte wichtige - und nicht rein subjektiver ärztlicher Interpretation entspringende - Aspekte benennen, die im Rahmen der Begutachtung unerkannt oder ungewürdigt geblieben sind.
3.3 Ein solcher Fall liegt hier indessen nicht vor. Dem kantonalen Gericht ist darin beizupflichten, dass auf die Berichte des Hausarztes Dr. med. L._ vom 19. April 2010 und des behandelnden Psychiaters Dr. med. M._ vom 28. April 2010, 7. Dezember 2010 und 25. Oktober 2011 nicht entscheidunmittelbar abgestellt werden kann. Deren Berichte bilden schon deshalb keine geeignete Entscheidungsgrundlage, weil sie zum Gesundheitszustand und vor allem zur verbleibenden Arbeitsfähigkeit nicht umfassend und nachvollziehbar Stellung nehmen. Zwar ist nicht auszuschliessen, dass im Rahmen einer einmaligen psychiatrischen Untersuchung zu gutachtlichen Zwecken wesentliche Aspekte unerkannt bleiben. Gemäss den insoweit unbestrittenen Feststellungen des kantonalen Gerichts hat sich der Psychiater der Institution Z._ mit den divergierenden Diagnosen und der Beurteilung der Arbeitsfähigkeit des behandelnden Psychiaters eingehend auseinandergesetzt. Dr. med. B._ hat einlässlich dargelegt, dass sich für eine schwere depressive Symptomatik eindeutig keine ausreichenden Hinweise finden würden und die depressiven Symptome selbst für eine mittelschwere depressive Symptomatik nicht hinreichend vorhanden seien. Auch wenn die Versicherte zwischendurch unter einer mittelschweren depressiven Symptomatik leide, bessere sich diese immer wieder. Die von Dr. med. M._ ebenfalls diagnostizierte soziale Phobie und selbstunsichere-vermeidende Persönlichkeitsstörung stellen gemäss Gutachter Differentialdiagnosen dar, welche sich nicht bestätigen liessen. Es sei vielmehr von einer rezidivierenden depressiven Störung in Form einer gegenwärtig leichten bis zeitweilig mittelgradigen depressiven Episode sowie akzentuierten Persönlichkeitszügen mit histrionischen Anteilen auszugehen. Wenn das kantonale Gericht auf die fundierte Begründung des Dr. med. B._ abstellte, auf welche Dr. med. M._ nicht näher einging, stellt dies keine Bundesrechtsverletzung dar.
3.4 Die von den Schlussfolgerungen des interdisziplinären Gutachtens abweichenden Stellungnahmen indizieren auch nicht die Notwendigkeit einer Rückweisung an die Verwaltung zur näheren Abklärung des Sachverhalts. Was die Beschwerdeführerin vorbringt, ist nicht geeignet, die vorinstanzliche Sachverhaltsfeststellung als offensichtlich unrichtig oder unvollständig erscheinen zu lassen. Diese übt sich vielmehr in weiten Teilen der Beschwerde in einer im Rahmen der gesetzlichen Bestimmungen (E. 1) unzulässigen Kritik an der Beweiswürdigung der Vorinstanz. Wenn das kantonale Gericht in Würdigung des Gutachtens der Institution Z._ sowie der übrigen ärztlichen Berichte und Stellungnahmen zur Auffassung gelangt ist, die Beschwerdeführerin wäre zumutbarerweise in der Lage, eine leidensangepasste Erwerbstätigkeit mit einer Einschränkung von 40 Prozent zu verrichten, ist dies weder als offensichtlich unrichtig noch als anderweitig bundesrechtswidrige Sachverhaltsfeststellung zu qualifizieren.
3.4 Die von den Schlussfolgerungen des interdisziplinären Gutachtens abweichenden Stellungnahmen indizieren auch nicht die Notwendigkeit einer Rückweisung an die Verwaltung zur näheren Abklärung des Sachverhalts. Was die Beschwerdeführerin vorbringt, ist nicht geeignet, die vorinstanzliche Sachverhaltsfeststellung als offensichtlich unrichtig oder unvollständig erscheinen zu lassen. Diese übt sich vielmehr in weiten Teilen der Beschwerde in einer im Rahmen der gesetzlichen Bestimmungen (E. 1) unzulässigen Kritik an der Beweiswürdigung der Vorinstanz. Wenn das kantonale Gericht in Würdigung des Gutachtens der Institution Z._ sowie der übrigen ärztlichen Berichte und Stellungnahmen zur Auffassung gelangt ist, die Beschwerdeführerin wäre zumutbarerweise in der Lage, eine leidensangepasste Erwerbstätigkeit mit einer Einschränkung von 40 Prozent zu verrichten, ist dies weder als offensichtlich unrichtig noch als anderweitig bundesrechtswidrige Sachverhaltsfeststellung zu qualifizieren.
3.5 3.5.1 Nach ständiger Rechtsprechung beurteilt das Sozialversicherungsgericht die Gesetzmässigkeit der angefochtenen Verfügungen in der Regel nach dem Sachverhalt, der zur Zeit des Abschlusses des Verwaltungsverfahrens gegeben war. Tatsachen, die jenen Sachverhalt seither verändert haben, sollen im Normalfall Gegenstand einer neuen Verwaltungsverfügung sein (<ref-ruling> E. 2.1 S. 243; <ref-ruling> E. 1b S. 366).
3.5.2 Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>; <ref-ruling>). Solche Umstände können namentlich in formellrechtlichen Mängeln des angefochtenen Entscheides liegen, mit denen die Partei nicht rechnete und nach Treu und Glauben nicht zu rechnen brauchte, oder darin, dass die Vorinstanz materiell in einer Weise urteilt, dass bestimmte Sachumstände neu und erstmals rechtserheblich werden. Der vorinstanzliche Verfahrensausgang allein bildet noch keinen hinreichenden Anlass im Sinne von <ref-law> für die Zulässigkeit von unechten Noven, die bereits im kantonalen Verfahren ohne Weiteres hätten vorgebracht werden können. Das Vorbringen von Tatsachen, die sich erst nach dem angefochtenen Entscheid ereigneten oder entstanden (echte Noven), ist vor Bundesgericht unzulässig.
3.5.3 Die Versicherte reicht vor Bundesgericht den Bericht des Dr. med. M._ vom 17. Februar 2012 ein. In diesem wird auf eine zwischenzeitlich erfolgte gynäkologische Operation hingewiesen und eine früher schon erkannte, bisher jedoch nicht angegangene Funktionsstörung des Enddarms erwähnt, welche möglicherweise operativ angegangen werden müsse. Dabei handelt es sich um ein unzulässiges Novum: einerseits war bereits vor Vorinstanz die medizinische Beurteilung streitig; anderseits sind echte Noven unzulässig. Auf diesen Bericht ist daher nicht weiter einzugehen.
4. Ausgehend von der festgestellten verbleibenden Arbeitsfähigkeit von 60 Prozent hat die Vorinstanz einen Einkommensvergleich vorgenommen mit dem Ergebnis eines Invaliditätsgrades von 43 Prozent. Die Bemessung der Invalidität wird von der Beschwerdeführerin nicht als unrichtig gerügt, so dass sie nicht näher zu überprüfen ist.
5. Die Beschwerde ist somit abzuweisen. Die Kosten des Verfahrens sind von der unterliegenden Beschwerdeführerin zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt.
3. Dieses Urteil wird den Parteien, dem Obergericht von Appenzell Ausserrhoden, 3. Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 16. November 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Hofer