Sachverhalt:
A. Die 1970 geborene Y._ verfügt über keine Berufsausbildung. Zuletzt war sie vom 18. ... 2002 bis ... 2006 als Mitarbeiterin Fertigschau in der Firma S._ AG tätig. Am 23. Januar 2006 meldete sie sich bei der Invalidenversicherung zum Rentenbezug an. Die IV-Stelle des Kantons St. Gallen führte erwerbliche und medizinische Abklärungen durch. Namentlich veranlasste sie eine medizinische Abklärung im Institut A._ (Gutachten vom 5. April 2007 und Ergänzung vom 14. August 2007). Die Gutachter regten eine stationäre medikamentöse Langzeitbehandlung der psychiatrischen Problematik an. Am 17. September 2007 trat Y._ stationär in die Klinik P._ für Psychiatrie, Psychotherapie und Suchtbehandlung, ein (Bericht vom 9. November 2007). Im Rahmen des Vorbescheidverfahrens liess Y._ ein Schreiben ihres Hausarztes Dr. med. U._, Allgemeine Medizin, vom 26. März 2008 ins Recht legen. Die IV-Stelle veranlasste hierauf beim Institut A._ ein neues Gutachten vom 25. März 2009. Nach erneutem Vorbescheidverfahren verfügte die IV-Stelle am 29. September 2009 die Abweisung des Leistungsbegehrens.
B. Die hiegegen erhobene Beschwerde von Y._ hiess das Versicherungsgericht des Kantons St. Gallen, soweit es darauf eintrat, dahingehend gut, als es Y._ von Februar 2006 bis Dezember 2007 eine Viertelsrente und von Januar 2008 bis April 2009 eine halbe Rente zusprach. Für die Zeit ab Mai 2009 wies es die Beschwerde ab (Entscheid vom 28. Oktober 2011).
C. Gegen diesen Entscheid führen sowohl Y._ als auch die IV-Stelle Beschwerde in öffentlich-rechtlichen Angelegenheiten.
Die IV-Stelle (Beschwerdeführerin 1) beantragt, unter Aufhebung des angefochtenen Entscheides sei ihre Verfügung vom 29. September 2009 zu bestätigen. Y._ schliesst auf Abweisung dieser Beschwerde (Verfahren 9C_942/2011).
Y._ (Bescherdeführerin 2) ihrerseits beantragt die Aufhebung von Ziffer 1 Dispositiv des angefochtenen Entscheides wie auch der Verfügung der IV-Stelle und die Zusprechung einer ganzen Invalidenrente ab 1. Februar 2006. Eventualiter sei die Sache zur ergänzenden Abklärung (neue interdisziplinäre [rheumatologische, psychiatrische] Begutachtung) und neuen Verfügung an die Vorinstanz zurückzuweisen.
Erwägungen:
1. Die Beschwerden richten sich gegen denselben letztinstanzlichen kantonalen Entscheid, es liegt ihnen der nämliche Sachverhalt zu Grunde und es stellen sich ähnliche Rechtsfragen. Daher rechtfertigt es sich, die Verfahren 9C_942/2011 und 9C_70/2012 zu vereinigen und in einem einzigen Urteil zu erledigen (BGE 128 V 124 E. 1 S. 126 mit Hinweisen; Urteil 9C_501/2011 und 9C_508/2011 vom 19. Dezember 2011).
2. 2.1 Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG), die Feststellung des Sachverhalts nur, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (Art. 105 Abs. 2 BGG).
2.2 Tatsächlicher Natur und somit für das Bundesgericht grundsätzlich verbindlich sind insbesondere die Feststellungen zur Arbeits(un)fähigkeit, welche das kantonale Gericht gestützt auf medizinische Untersuchungen trifft (BGE 132 V 393 E. 3.2 S. 398). Zu den vom Bundesgericht nur eingeschränkt überprüfbaren Tatsachenfeststellungen zählt auch, ob eine anhaltende somatoforme Schmerzstörung vorliegt, und, bejahendenfalls, ob eine psychische Komorbidität oder weitere Umstände gegeben sind, welche die Schmerzbewältigung behindern. Als Rechtsfrage frei überprüfbar ist dagegen, ob eine festgestellte psychische Komorbidität hinreichend erheblich ist und ob einzelne oder mehrere der festgestellten weiteren Kriterien in genügender Intensität und Konstanz vorliegen, um gesamthaft den Schluss auf eine nicht mit zumutbarer Willensanstrengung überwindbare Schmerzstörung und somit auf eine invalidisierende Gesundheitsschädigung zu gestatten (Urteil 9C_871/2010 vom 25. Februar 2011 E. 1.2, nicht publ. in: BGE 137 V 64; SVR 2008 IV Nr. 23 S. 71, I 683/06 E. 2.2). Soweit die Beurteilung der Zumutbarkeit von Arbeitsleistungen auf die allgemeine Lebenserfahrung gestützt wird, geht es ebenfalls um eine Rechtsfrage.
3. Streitig und zu prüfen ist nurmehr die Rentenfrage.
3.1 Die Vorinstanz erwog, obwohl die Firma S._ AG bereit gewesen sei, die Versicherte auch nach Eintritt der gesundheitlichen Probleme weiter zu beschäftigen, könne diese Arbeit nicht als "Validenkarriere" bezeichnet werden. Der dort erzielbare Lohn habe zwar dem Durchschnittseinkommen (Zentralwert) für Hilfsarbeiten in der Textilbranche entsprochen, er sei aber deutlich tiefer gewesen als der Durchschnittslohn über alle Branchen hinweg. Weil die Beschwerdeführerin nicht über eine Ausbildung im Textilbereich verfüge, sei davon auszugehen, dass sie in eine andere Branche gewechselt hätte, wenn ihr eine besser bezahlte Arbeit angeboten worden wäre. Als Valideneinkommen sei daher der Lohn in einer durchschnittlichen Hilfsarbeit heranzuziehen. Die Beschwerdeführerin könnte auf dem ausgeglichenen Arbeitsmarkt in jeder Branche eine behinderungsadaptierte Tätigkeit ausüben, weshalb das Invalideneinkommen ausgehend vom selben Durchschnittslohn zu bestimmen sei. Gestützt auf das zweite Gutachten des Instituts A._ betrage die Arbeitsfähigkeit in einer angepassten Tätigkeit mit überwiegender Wahrscheinlichkeit 70 %. Die Ausführungen des Dr. med. R._ seien nicht geeignet, Zweifel an der Richtigkeit dieser Arbeitsfähigkeitsschätzung zu wecken. Die verschiedenen, nur indirekt behinderungsbedingten Nachteile (Unfähigkeit, bei entsprechendem betrieblichen Bedarf Überstunden zu leisten oder vorübergehend an einem anderen, nicht adaptierten Arbeitsplatz tätig zu sein, reale Gefahr überdurchschnittlicher Krankheitsabsenzen, besondere Rücksichtnahme seitens Kolleginnen und Vorgesetzten insbesondere in Phasen starker Belastung etc.) rechtfertigten einen zusätzlichen Abzug von 10 %. Bei einem Valideneinkommen von Fr. 50'278.- (Schweizerische Lohnstrukturerhebung [LSE] 2006, Tabelle TA1, Zentralwert, durchschnittliche Wochenarbeitszeit: 41,7 Stunden) und einem Invalidenlohn von Fr. 31'675.- resultiere ein Invaliditätsgrad von 37 %. Bei einer Arbeitsunfähigkeit von 40 % bis Ende September 2007, 50 % bis Januar 2009 und 30 % seit Februar 2009 resultiere von Februar 2006 bis Dezember 2007 ein Anspruch auf eine Viertelsrente, anschliessend bis Ende April 2009 auf eine halbe Rente. Ab Mai 2009 entfalle ein Rentenanspruch.
3.2 Die Beschwerdeführerin 1 macht sinngemäss geltend, die Vorinstanz habe ihrer Berechnung zu Unrecht nicht das zuletzt erzielte, sondern ein hypothetisches, deutlich höheres Einkommen zu Grunde gelegt. Ein sogenannter Leidensabzug sei nicht begründbar. Lediglich zwischen Januar 2008 bis Ende April 2009 habe bei einem Valideneinkommen von Fr. 44'720.- und einem Invalidenlohn von Fr. 25'139.- ein rentenbegründender Invaliditätsgrad (von 44 %) bestanden. Weil die Gutachter des Instituts A._ einzig ätiologisch-pathogenetisch unerklärliche syndromale Leidenszustände beschrieben hätten, denen zufolge fehlender Objektivierbarkeit keine invalidisierende Wirkung zukomme, sei aber ohnehin zu keinem Zeitpunkt ein Anspruch auf eine Invalidenrente gegeben gewesen. Der vom Gutachter des Instituts A._ gemessene, weit unterhalb des Referenzbereiches liegende Medikamentenspiegel des Antidepressivums spreche dafür, dass sich die Versicherte selbst nicht als besonders depressiv erlebt habe. Nachdem die Gutachter des Instituts A._ die sogenannten Förster-Kriterien als nicht erfüllt erachtet hätten, sei aus psychiatrischer Sicht von einer vollen Arbeitsfähigkeit auszugehen. Insofern könne von den beiden Gutachten des Instituts A._ abgewichen werden, ohne dass diesen "im restlichen Teil" der Beweiswert abzusprechen sei.
3.3 Die Beschwerdeführerin 2 rügt hauptsächlich die vorinstanzliche Beweiswürdigung. Insbesondere stelle das kantonale Gericht ausschliesslich und in Verletzung von Bundesrecht auf das zweite, den Beweiswertanforderungen und namentlich den Kriterien von BGE 137 V 210 nicht genügende Gutachten des Instituts A._ ab. Bundesrechtswidrig gewürdigt worden sei sodann der Bericht des Dr. med. R._; auch der Sachverhalt sei falsch festgestellt worden. Auf die bereits im vorinstanzlichen Verfahren gerügten Mängel des zweiten Gutachtens des Instituts A._ sei das kantonale Gericht nicht eingegangen und habe den Anspruch auf rechtliches Gehör verletzt. Ausgehend von den beweiskräftigen Einschätzungen des Dr. med. R._ betrage die Arbeitsunfähigkeit 70 % und es bestehe Anspruch auf eine ganze Invalidenrente.
4. 4.1 Die Beweiswürdigung des kantonalen Gerichts beschlägt Fragen tatsächlicher Natur und ist daher für das Bundesgericht grundsätzlich bindend (E. 2.2 hievor). Eine Bindungswirkung fehlt, wenn die Beweiswürdigung willkürlich ist, was nicht bereits dann zutrifft, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre, sondern erst, wenn der Entscheid offensichtlich unhaltbar ist, zur tatsächlichen Situation in klarem Widerspruch steht oder auf einem offenkundigen Fehler beruht (BGE 127 I 54 E. 2b S. 56; vgl. auch BGE 135 V 2 E. 1.3 S. 4 f).
4.2 Der das psychiatrische Teilgutachten des Instituts A._ (Untersuchung vom 17. Februar 2009) verfassende Dr. med. G._ begründete ausführlich, weshalb die im Jahre 2007 gestellten Diagnosen (Neurasthenie und Schmerzverabeitungsstörung) nicht mehr zutreffen. Er führte aus, depressive Symptome seien derzeit genügend ausgeprägt für die Diagnose einer leichten bis mittelgradigen depressiven Episode (ICD-10 F32.0). Zusätzlich bestünden psychosoziale und emotionale Belastungsfaktoren mit angespannter finanzieller Situation und schwieriger Beziehungssituation in der Familie. Diagnostisch liege eine anhaltende somatoforme Schmerzstörung (ICD-10 F45.4) vor, die eine vollständige Arbeitsunfähigkeit nicht zu begründen vermöge. Die Versicherte könne sich nicht mehr vorstellen, zu arbeiten und gehe nicht völlig adäquat mit ihren Beschwerden um; sie fühle sich mehr beeinträchtigt als dies den objektiven Tatsachen entspreche. Die erwartete, aber nicht eingetroffene Beschwerdefreiheit habe psychisch zu Verunsicherung und Enttäuschung geführt, es hätten sich regressive Verhaltensweisen eingestellt und ein nicht adäquater Umgang mit den Schmerzen. Diese hätten im Sinne einer psychischen Überlagerung zugenommen und sich ausgeweitet, dabei hätten auch kulturelle Faktoren eine Rolle gespielt. Trotz ihrer Schmerzen wären der Versicherten einfache Tätigkeiten zumutbar; sie könne - wenn auch mit Pausen - Mahlzeiten kochen, gehe kleinere Dinge mit dem Auto einkaufen und leide nicht unter einer schweren chronischen somatischen Erkrankung. Sie habe im Untersuchungsgespräch gut verbalisieren können und keine deutlichen Konzentrationsstörungen gezeigt, auch innerhalb der Familie bestehe keine Stumpfheit der Umgebung gegenüber. Ein emotionaler Rückzug sei nicht ausgeprägt, die nächtlichen Schlafschwierigkeiten würden durch den relativ unstrukturierten Tagesablauf verstärkt und zum sozialen Rückzug gegenüber Kolleginnen sei es gekommen, weil diese schlecht verstehen könnten, weshalb sie anhaltend krank sei und oft verstimmt reagiere. Die therapeutischen Möglichkeiten seien prinzipiell nicht ausgeschöpft. Aus psychiatrischer Sicht wäre eine den körperlichen Einschränkungen angepasste Tätigkeit zu 70 % zumutbar, im idealsten Fall in einem ganztägigen Pensum mit einem durch die erhöhte Ermüdbarkeit bedingten vermehrten Pausenbedarf.
4.3 Dr. med. R._, seit ... 2009 behandelnder Psychiater, führte am 17. März 2010 aus, biografische Enttäuschungen (namentlich unerfüllt gebliebene Wünsche nach einer Ausbildung/ höheren Bildung und nach weiteren Kindern) hätten einen depressiven Grundkonflikt bewirkt. Die Persönlichkeitsentwicklung sei geprägt gewesen von überhöhten "Über-Ich-Forderungen", Überangepasstheit, gefügiger Unterordnung, Selbstverleugnung, Konfliktscheu und Aggressionshemmung. Eine "lebensgeschichtlich veranlagte Disposition" habe eine anhaltende depressive Störung (ICD-10 F32.8) bewirkt, es präsentiere sich das Bild einer komplexen Störung mit psychischen, kognitiven und körpernahen Phänomenen, welche diagnostisch einzuordnen sei als chronische Schmerzstörung mit somatischen und psychischen Faktoren (ICD-10 F45.42). Weil das Schmerzsyndrom insoweit einen organischen Kern habe, als es mit pathophysiologisch relevanten und klinisch fassbaren Vorgängen korreliere (Trigenimus-Neuralgie [ICD-10 G50.0]; chronischer Spannungskopfschmerz [ICD-10 G44.2]), könne keine anhaltende somatoforme Schmerzstörung diagnostiziert werden. Sodann bestünden kognitive Einschränkungen in Form "gedanklicher Leere", ansonsten sei das Denken der Form nach unauffällig, d.h. normal in Tempo und Linienführung, klar, geordnet und in sich folgerichtig. Die Versicherte artikuliere sich anschaulich und differenziert. Inkonsistenzen, wahllose Antworten oder sonstiges Aussageverhalten, die Zweifel an der Validität ihrer Schilderungen wecken könnten, fehlten. Inhaltlich prägnant sei die Schilderung von Erlebnisweisen, welche typisch depressiven Symptomen entsprächen (Verlust von Interesse oder Freude an gewöhnlich angenehmen Dingen, Reizbarkeit, stark erhöhte Ermüdbarkeit, Hemmung beim Beginn einer Verrichtung, Schwierigkeiten eine Sache zu Ende zu führen, frühmorgendliches Erwachen unter Schmerzen, anschliessend angstvolles und resignatives Grübeln, massloses Minderwertigkeitserleben, gemessenes Schuld- und Schamempfinden). Hinsichtlich des Leistungsvermögens führte Dr. med. R._ aus, die Beschwerdeführerin erledige im Haushalt lediglich das Abstauben alleine, die übrigen Arbeiten übernähmen Ehemann und Sohn oder sie würden aufgeteilt. Die Versicherte sei nicht passiv, sondern leiste den ihr möglichen Beitrag und werde nicht geschont. Sie sei während sehr weniger Stunden am Tag in der Lage, für sich selbst und die Familie zu sorgen; was sie sich zumute, entspreche nur einer leichten körperlichen Arbeit. Der behandelnde Ergotherapeut habe geschildert, dass die Versicherte bestenfalls nach zwanzig Minuten sichtbar ermüde. Durch Respektierung ihrer Belastungsgrenzen vermöge sie einen gewissen Arbeitsrhythmus aufrecht zu erhalten. In einer Gesamtschau resultiere ein in sich stimmiges Profil weitreichender Einschränkungen unmittelbar schmerzbegründender, depressionsbedingter und kognitiv erklärbarer Art. Gestützt auf seine klinische und gutachtliche Erfahrung, unter Berücksichtigung des Verlaufs und in Übereinstimmung mit der Beurteilung der Klinik P._ sei er überzeugt, dass die Funktionseinschränkungen derart schwer wögen, dass sie willentlich durch weitere Therapien nicht mehr zu überwinden seien. Auch in leichten körperlichen Arbeiten bestehe eine vollständige Arbeitsunfähigkeit.
5. 5.1 Das kantonale Gericht setzte sich einlässlich mit den divergierenden medizinischen Beurteilungen auseinander und legte in Nachachtung seiner Pflicht zu umfassender, sorgfältiger, objektiver und inhaltsbezogener Beweiswürdigung (BGE 132 V 393 E. 4.1 S. 400) willkürfrei dar, weshalb es nicht auf die Einschätzung des Dr. med. R._ abstellte (vgl. E. 4.1 hievor). Es trifft zu, dass auch Dr. med. R._ im Bericht vom 17. März 2010 die von der Versicherten geklagten Beschwerden detailliert beschrieb und sowohl seine Diagnosen wie auch die von Dr. med. G._ abweichende Beurteilung ausführlich begründete. Die Vorinstanz mass seiner Beurteilung aber geringeren Beweiswert zu, weil er einen therapeutischen Standpunkt einnehme und die Aussagen der Versicherten zu Art und Ausmass der Beschwerden wie auch zur Alltagsgestaltung selbstverständlich als richtig und objektiv qualifiziere, ohne sich mit der Frage nach einem sekundären Krankheitsgewinn auseinanderzusetzen oder darauf einzugehen, ob der Beschwerdeführerin die Willensanstrengung zur Schmerzüberwindung zumutbar wäre. Das kantonale Gericht erwog, entgegen den Ausführungen des Dr. med. R._ korrespondiere die subjektive Überzeugung der Beschwerdeführerin, vollständig arbeitsunfähig zu sein, nicht mit der objektiven, bei zumutbarer Willensanstrengung erreichbaren Arbeitsfähigkeit. Diese Beweiswürdigung kann nicht als willkürlich bezeichnet werden; eine Verletzung der Begründungspflicht liegt nicht vor. In der Tat fällt auf, dass die Beurteilung des Dr. med. R._ massgeblich auf den subjektiv empfundenen und geschilderten Einschränkungen der Versicherten beruht, die er - in Wahrnehmung seiner Aufgaben als behandelnder Psychiater und mit Blick auf die Wahrung des behandlungsnotwendigen Vertrauensverhältnisses - sehr ernst nahm. Die Beschwerdeschilderungen der Versicherten übernahm er weitgehend unkritisch, indem er beispielsweise wörtlich ausführte: "Was wir über den Alltag Frau Y._ anhand ihres Berichts wissen, lässt darauf schliessen, dass sie in der Lage ist, während sehr weniger Stunden am Tag für sich selbst und ihre Familie zu sorgen." Indes hätte nicht zuletzt mit Blick auf die ausgeprägte Krankheitsüberzeugung der Versicherten, die in den Akten mehrfach beschrieben wird, Anlass zu einer kritischen Würdigung dieser Schilderungen bestanden. Auch mit Blick darauf, dass nicht nur die Einschätzungen des Hausarztes, sondern auch jene des behandelnden Spezialisten besonders sorgfältig zu würdigen sind, ist die vorinstanzliche Beweiswürdigung nicht bundesrechtswidrig (BGE 125 V 351 E. 3b/cc S. 353 mit Hinweisen; Urteil 8C_373/2008 vom 28. August 2008 E. 4.2).
5.2 Soweit die Beschwerdeführerin 2 rügt, das Gutachten des Instituts A._ genüge nicht den Kriterien von BGE 137 V 210, ist festzuhalten, dass dieser Rechtsstreit bereits anhängig war, als jenes Urteil am 28. Juni 2011 gefällt wurde. Zwar ist der in BGE 137 V 210 definierte Verfahrensstandard an sich auch für laufende Verfahren verbindlich (vgl. BGE 132 V 368 E. 2.1 S. 369). Es wäre jedoch nicht verhältnismässig, wenn nach den alten Regeln eingeholte Gutachten ungeachtet ihrer jeweiligen Überzeugungskraft den Beweiswert einbüssten (BGE 137 V 210 E. 6 Ingress S. 266). Bildet ein nach altem Standard in Auftrag gegebenes Gutachten die massgebende Entscheidungsgrundlage, so ist diesem Umstand allenfalls bei der Beweiswürdigung Rechnung zu tragen (Urteil 9C_776/2010 vom 20. Dezember 2011 E. 3.3). Entgegen den Vorbringen in der Beschwerde der Versicherten begründen die Gutachter sodann, weshalb die Arbeitsfähigkeit gegenüber ihrer ersten Beurteilung vom 5. April 2007 höher sei (es konnte keine Neurasthenie und keine Schmerzverarbeitungsstörung mehr diagnostiziert werden). Der Einwand, das psychiatrische Teilgutachten des Instituts A._ sei deshalb nicht beweistauglich, weil Dr. med. G._ eine somatoforme Schmerzstörung diagnostiziere, obwohl die Schmerzen teilweise organisch erklärbar waren, überzeugt nicht, zumal eine somatoforme Schmerzstörung (lediglich) voraussetzt, dass die geklagten Beschwerden organisch nicht hinreichend erklärbar sind, weshalb auch eine teilweise organische Ursache eine anhaltende somatoforme Schmerzstörung nicht ausschliesst (vgl. WHO/DIMIDI, Internationale statistische Klassifikation der Krankheiten und verwandter Gesundeitsprobleme, 10. Revision - German Modification - Version 10 [ICD-10-GM 2010], Band 1 - Systematisches Verzeichnis, 2011, S. 191).
5.3 5.3.1 Im Gutachten des Instituts A._ vom 25. März 2009 finden sich als Diagnosen mit Einfluss auf die Arbeitsfähigkeit zum einen eine leichte bis mittelgradige depressive Episode (ICD-10 F32.0), zum andern eine anhaltende somatoforme Schmerzstörung (ICD-10 F45.4). Dr. med. G._ führte aus, die Versicherte habe praktisch keinen Kontakt mehr zu Kolleginnen, die Beziehung zu Ehemann und Sohn sei wiederholt angespannt; die psychosozialen und emotionalen Belastungsfaktoren seien deutlich ausgeprägt und drückten sich durch den dadurch hervorgerufenen unangenehmen Effekt in den Schmerzen aus. Die als solche krankheitsfremden psychosozialen Belastungsfaktoren hätten zu depressiven Verstimmungen geführt. Die Arbeitsfähigkeit sei durch die Depression und die anhaltende somatoforme Schmerzstörung leicht- bis mittelgradig eingeschränkt. Wie die Beschwerde führende IV-Stelle richtig vorbringt, beurteilt sich bei einem solchen Krankheitsbild die Frage, inwieweit eine Arbeitsunfähigkeit aus medizinisch-psychiatrischer Sicht als invalidisierend im rechtlichen Sinne (Art. 4 Abs. 1 IVG sowie Art. 3 Abs. 1 und Art. 6 ATSG) anzuerkennen ist, nach der mit BGE 130 V 352 begründeten Rechtsprechung (vgl. BGE 136 V 279 E. 3.2.3 S. 283 und SVR 2012 IV Nr. 1 S. 1, 9C_1040/2010 E. 3.4.1).
5.3.2 Für die Beurteilung der Rechtsfrage, ob und gegebenenfalls inwieweit einer versicherten Person unter Aufbringung allen guten Willens die Überwindung ihrer Schmerzen und die Verwertung ihrer verbleibenden Arbeitskraft zumutbar ist oder nicht, bilden die fachärztlichen Stellungnahmen zum psychischen Gesundheitszustand und zu dem aus medizinischer Sicht (objektiv) vorhandenen Leistungspotenzial unabdingbare Grundlage (BGE 130 V 352 E. 2.2.5 S. 355). Bei ihrer Einschätzung der psychischen Ressourcen der Explorandin, mit den Schmerzen umzugehen, haben die begutachtenden Ärzte notwendigerweise auch die massgebenden Kriterien zu beachten (BGE 135 V 201 E. 7.1.3 S. 213) und sich insbesondere dazu zu äussern, ob eine psychische Komorbidität oder weitere Umstände gegeben sind, welche die Schmerzbewältigung behindern (SVR 2008 IV Nr. 23 S. 71, I 683/06 E. 2.2). Nicht erforderlich ist, dass sich eine psychiatrische Expertise in jedem Fall über jedes einzelne der genannten Kriterien ausspricht; massgeblich ist eine Gesamtwürdigung der Situation (SVR 2005 IV Nr.6 S.21, I 457/02 E. 7.4 mit Hinweis, nicht publ. in: BGE 130 V 396). Gestützt auf die fachärztliche Beurteilung haben die rechtsanwendenden Behörden als Rechtsfrage zu prüfen, ob eine festgestellte psychische Komorbidität hinreichend erheblich ist und ob einzelne oder mehrere der festgestellten weiteren Kriterien in genügender Intensität und Konstanz vorliegen, um gesamthaft den Schluss auf eine im Hinblick auf eine erwerbliche Tätigkeit nicht mit zumutbarer Willensanstrengung überwindbare Schmerzstörung zu erlauben (Urteil 9C_482/2010 vom 21. September 2010 E. 4.3). Die Prüfung schliesst die Beurteilung der Frage ein, inwiefern die ärztliche Einschätzung der psychisch bedingten Arbeitsunfähigkeit invaliditätsfremde Gesichtspunkte (insbesondere psychosoziale und soziokulturelle Belastungsfaktoren) mitberücksichtigt (z.B. Urteil 9C_651/2009 vom 7. Mai 2010 E. 5.1).
5.3.3 Unbestritten ist aus orthopädischer Sicht die Arbeitsfähigkeit weder zeitlich noch leistungsmässig eingeschränkt. Hinsichtlich der psychischen Situation erwog die Vorinstanz, gestützt auf die Beurteilung des Dr. med. G._ sei das psychische Leiden als IV-relevante Erkrankung zu werten. Es sei plausibel, dass die Versicherte selbst unter Einsatz der gesamten ihr zur Verfügung stehenden Willensenergie nicht in der Lage wäre, zu 100 % einer adaptierten Erwerbstätigkeit nachzugehen. Die krankheitsbedingt erhöhte Ermüdbarkeit könne nicht einfach überwunden werden, sondern die Versicherte sei gezwungen, immer wieder Pausen einzulegen, weshalb sich die Annahme einer eingeschränkten Arbeitsfähigkeit rechtfertige. Die im zweiten Gutachten des Instituts A._ attestierte Arbeitsfähigkeit von 70 % sei (in Übereinstimmung mit der Beurteilung des Regionalen Ärztlichen Dienstes [RAD] vom 17. Juli 2009) überzeugend. Dies hält vor Bundesrecht nicht Stand. Davon abgesehen, dass Dr. med. G._ entgegen den vorinstanzlichen Erwägungen keine konkreten Aussagen zur Fragen der Überwindbarkeit machte, ist die erhöhte Ermüdbarkeit Ausfluss der diagnostizierten leichten bis mittelgradigen depressiven Episode. Die depressive Verstimmtheit ihrerseits beruht wiederum auf krankheitsfremden Faktoren. Unbestritten sind zudem die anderen Kriterien, welche bei entsprechender Erheblichkeit allenfalls die Unzumutbarkeit einer Schmerzüberwindung zu begründen vermöchten, nicht erfüllt. Im Weiteren gilt eine leicht- bis mittelgradige depressive Episode (ICD-10 F 32.0) praxisgemäss nicht als genügend schwere psychische Erkrankung, welche die willentliche Schmerzüberwindung unzumutbar macht (z.B. Urteil 9C_86/2012 vom 6. März 2012).
6. Weil es nach dem Gesagten an einer invalidenversicherungsrechtlich relevanten gesundheitlichen Beeinträchtigungen fehlt und der Versicherten demzufolge sowohl die angestammte wie auch andere Hilfstätigkeiten zumutbar wären, erübrigen sich Weiterungen zu den Vergleichseinkommen.
7. Die Beschwerde der IV-Stelle ist somit gutzuheissen, während diejenige der Versicherten abzuweisen ist. Die unterliegende Versicherte hat die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Verfahren 9C_942/2011 und 9C_70/2012 werden vereinigt.
2. Die Beschwerde im Verfahren 9C_942/2011 wird gutgeheissen und das Urteil des Versicherungsgerichts des Kantons St. Gallen vom 28. Oktober 2011 wird aufgehoben.
3. Die Beschwerde im Verfahren 9C_70/2012 wird abgewiesen.
4. Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin 2 auferlegt.
5. Die Sache wird zur Neuverlegung Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Versicherungsgericht des Kantons St. Gallen zurückgewiesen.
6. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 6. Juli 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Die Gerichtsschreiberin: Bollinger Hammerle