Sachverhalt:
A. Die 1967 geborene K._ meldete sich am 14. Mai 2008 unter Hinweis auf seit 1997 bestehende Rückenschmerzen und psychische Beschwerden bei der Invalidenversicherung zum Rentenbezug an. Nach Abklärungen medizinischer und erwerblicher Art, insbesondere nach Einholung eines polydisziplinären Gutachtens der Medizinischen Abklärungsstelle (MEDAS) (vom 20. Februar 2009), gemäss welchem eine mittelgradige depressive Episode, eine generalisierte Angststörung mit Panikattacken, der Verdacht auf eine anhaltende somatoforme Schmerzstörung und ein generalisiertes, chronisches Schmerzsyndrom mit Hyperalgesie rechts und Hypästesie rechts, einhergehend mit vielen vegetativen Begleitbeschwerden, bestehen, stellte die IV-Stelle des Kantons St. Gallen (nachfolgend: IV-Stelle) die Zusprechung einer ganzen Invalidenrente bei einem Invaliditätsgrad von 70 % in Aussicht (Vorbescheid vom 8. Oktober 2009). Gestützt auf eine vorgängig bei ihrem Regionalen Ärztlichen Dienst (RAD) eingeholte Stellungnahme des Dr. med. N._ vom 13. Mai 2009, der die Beschaffung von zusätzlichen Informationen zum alltäglichen Verhalten und zur Belastbarkeit der Versicherten wegen der bei ihr gutachterlich festgestellten erheblichen Verdeutlichungstendenz, Selbstlimitierung und Inkonsistenzen als sinnvoll erachtete, liess die IV-Stelle K._ vom 29. September bis 1. Oktober 2009 von der S._ GmbH, überwachen. Zu den am 9. Oktober 2009 erstatteten Ergebnissen der Observation hielt die RAD-Ärztin Dr. med. H._, Fachärztin FMH für Psychiatrie und Psychotherapie, am 26. Januar 2010 u.a. fest, die beobachteten Fähigkeiten seien durchaus mit leichten bis mittelschweren Reinigungstätigkeiten zu vereinbaren. Mit einer relevanten bzw. völligen Arbeitsunfähigkeit sei das Observationsmaterial hingegen nicht in Einklang bringen. Aufgrund dieser Ergebnisse verneinte die IV-Stelle nach Durchführung des Vorbescheidverfahrens verfügungsweise am 22. April 2010 einen Anspruch auf Invalidenrente.
Mit Verfügung vom 8. Juni 2010 wies die IV-Stelle zudem ein Gesuch der Versicherten um unentgeltliche Verbeiständung im Verwaltungsverfahren ab.
B. K._ liess gegen beide Verfügungen Beschwerde erheben. Das Versicherungsgericht des Kantons St. Gallen vereinigte die Verfahren. In teilweiser Gutheissung der gegen die Verfügung vom 22. April 2010 geführten Beschwerde hob es diese auf und wies die Sache zur weiteren Abklärung im Sinne der Erwägungen und anschliessender Neuverfügung an die Verwaltung zurück. Es bejahte zudem den Anspruch auf unentgeltliche Verbeiständung im Verwaltungsverfahren, was zur Gutheissung der entsprechenden Beschwerde führte (Entscheid vom 3. März 2011).
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt die IV-Stelle die Aufhebung des vorinstanzlichen Entscheids vom 3. März 2011. Eventualiter sei die Sache - unter Berücksichtigung des Observationsmaterials - zur Neubeurteilung an die Vorinstanz zurückzuweisen.
K._ lässt das Rechtsbegehren stellen, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Das Versicherungsgericht des Kantons St. Gallen schliesst auf Nichteintreten, eventualiter Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen beantragt die Gutheissung der Beschwerde.

Erwägungen:
1. 1.1 Beim angefochtenen Rückweisungsentscheid handelt es sich, da das Verfahren noch nicht abgeschlossen wird und die Rückweisung auch nicht einzig der Umsetzung des oberinstanzlich Angeordneten dient (vgl. Urteil 9C_684/2007 vom 27. Dezember 2007 E. 1.1 mit Hinweisen), um einen - selbstständig eröffneten - Vor- oder Zwischenentscheid im Sinne von Art. 93 BGG (<ref-ruling> E. 4.2 S. 481 f. mit Hinweisen). Die Zulässigkeit der Beschwerde setzt somit - alternativ - voraus, dass der Entscheid einen nicht wieder gutzumachenden Nachteil bewirken kann (Abs. 1 lit. a) oder dass die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (Abs. 1 lit. b).
1.2 Rechtsprechungsgemäss bewirkt ein Rückweisungsentscheid in der Regel keinen irreversiblen Nachteil im Sinne von Art. 93 Abs. 1 lit. a BGG, da der Rechtsuchende ihn später zusammen mit dem neu zu fällenden Endentscheid wird anfechten können (vgl. Art. 93 Abs. 3 BGG). Anders verhält es sich allerdings, wenn durch materiellrechtliche Anordnungen im Rückweisungsentscheid der Beurteilungsspielraum der unteren Instanz wesentlich eingeschränkt wird. Sodann ist für die Verwaltung bzw. den Versicherungsträger ein nicht wieder gutzumachender Nachteil gegeben, wenn diese durch den Rückweisungsentscheid gezwungen werden, eine ihres Erachtens rechtswidrige Verfügung zu treffen. Auch diesfalls braucht nicht der Endentscheid abgewartet zu werden (<ref-ruling> E. 5.2 S. 483 ff.; Urteil 8C_682/2007 vom 30. Juli 2008 E. 1.2.1, nicht publ. in: <ref-ruling>, aber in: SVR UV Nr. 31 S. 115; Urteil 9C_588/2010 vom 3. November 2010 E. 1.3).
1.3 Grundsätzlich ist nur das Dispositiv, nicht aber die Begründung eines Entscheides anfechtbar. Verweist das Dispositiv eines Rückweisungsentscheides ausdrücklich auf die Erwägungen, werden diese zu dessen Bestandteil und haben, soweit sie zum Streitgegenstand gehören, an der formellen Rechtskraft teil. Dementsprechend sind die Motive, auf die das Dispositiv verweist, für die Behörde, an welche die Sache zurückgewiesen wird, bei Nichtanfechtung verbindlich. Beziehen sich diese Erwägungen auf den Streitgegenstand, ist somit auch deren Anfechtbarkeit zu bejahen (<ref-ruling>). Die Anfechtbarkeit von Zwischenentscheiden wurde im BGG zwar neu geregelt; an der Verbindlichkeit des auf die Erwägungen verweisenden kantonalen Rückweisungsentscheides für die Verwaltung im Falle der Nichtanfechtung hat sich mit dem Inkrafttreten des BGG am 1. Januar 2007 indessen nichts geändert (Urteil 9C_703/2009 vom 30. Oktober 2009 E. 2.2 mit Hinweisen).
1.4 Dispositiv-Ziffer 1 des vorinstanzlichen Entscheids weist die Sache an die IV-Stelle "zur weiteren Abklärung im Sinn der Erwägungen und anschliessender Neuverfügung" zurück. Der Entscheid verweist demnach auf die Erwägungen und bezieht sich auch auf die Entfernung der Observationsergebnisse aus den Akten, die das kantonale Gericht als unrechtmässig erlangtes Beweismaterial angesehen hat.
Weist die Vorinstanz die Sache zu weiteren Abklärungen und anschliessender Neuverfügung an die IV-Stelle zurück, weil sie die Aktenlage im Rahmen der Beweiswürdigung als nicht schlüssig betrachtet, liegt praxisgemäss kein nicht wieder gutzumachender Nachteil vor (Urteil 8C_121/2011 vom 30. Juni 2011 E. 3.2). Die ärztlichen Stellungnahmen des RAD-Dienstes haben indes gezeigt, dass es hier für die beurteilenden Ärzte trotz der aktenkundigen Hinweise auf eine erhebliche Verdeutlichung der geltend gemachten Beschwerden und eine Selbstlimitierung ausserordentlich schwierig ist, den vorhandenen Gesundheitsschaden festzustellen und hieraus eine Arbeitsfähigkeitsschätzung abzuleiten. Deshalb kommt den gesammelten Informationen zum Verhalten der Versicherten und ihrer Belastbarkeit ausserhalb einer Begutachtungssituation wesentliche Bedeutung zu, zumal durch das vorinstanzliche Verwertungsverbot mit entsprechender Entfernung aus den Akten die diesbezüglichen Aufzeichnungen auch bei einer erneuten medizinischen Begutachtung nicht zur Verfügung stünden und eine nochmalige Observation wäre der Verwaltung, müsste sie dem vorinstanzlichen Entscheid folgen, mangels hinreichenden Anfangsverdachts untersagt. Mit der vorinstanzlichen Ausschliessung der Verwertung des Observationsmaterials ist die Eintretensvoraussetzung von Art. 93 Abs. 1 lit. a BGG erfüllt, denn die IV-Stelle wäre, wie sie zu Recht geltend macht, damit gezwungen, das von ihr als entscheidwesentlich angesehene Beweismaterial ausser Acht zu lassen und damit eine ihres Erachtens rechtswidrige Verfügung zu erlassen, worin der nicht wieder gutzumachende Nachteil liegt. Hinsichtlich der unentgeltlichen Rechtspflege im Verwaltungsverfahren liegt - entgegen der vorinstanzlichen Auffassung - ein Endentscheid vor. Das vom kantonalen Gericht zitierte Urteil 9C_117/2010 vom 23. Juli 2010 E. 2.2 bezieht sich einzig auf die Kosten- und die Entschädigungsfrage für das kantonale Beschwerdeverfahren, weshalb sich daraus nichts anderes ergibt.
2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 1 und 2 BGG). Die Behebung des Mangels muss für den Ausgang des Verfahrens entscheidend sein (vgl. Art. 97 Abs. 1 BGG). Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG).
3. Wer Versicherungsleistungen beansprucht, muss unentgeltlich alle Auskünfte erteilen, die zur Abklärung des Anspruchs und zur Festsetzung der Versicherungsleistungen erforderlich sind (Art. 28 Abs. 2 ATSG). Die Versicherten und ihre Arbeitgeber haben beim Vollzug der Sozialversicherungsgesetze unentgeltlich mitzuwirken (Art. 28 Abs. 1 ATSG). Personen, die Versicherungsleistungen beanspruchen, haben alle Personen und Stellen, namentlich Arbeitgeber, Ärztinnen und Ärzte, Versicherungen sowie Amtsstellen im Einzelfall zu ermächtigen, die Auskünfte zu erteilen, die für die Abklärung von Leistungsansprüchen erforderlich sind. Diese Personen und Stellen sind zur Auskunft verpflichtet (Art. 28 Abs. 3 ATSG).
Gemäss Art. 43 Abs. 1 ATSG prüft der Versicherungsträger die Begehren, nimmt die notwendigen Abklärungen von Amtes wegen vor und holt die erforderlichen Auskünfte ein. Die IV-Stellen haben sodann die versicherungsmässigen Voraussetzungen zu prüfen (Art. 57 Abs. 1 lit. c IVG). Zur Bekämpfung des ungerechtfertigten Leistungsbezugs können die IV-Stellen Spezialisten beiziehen (Art. 59 Abs. 5 IVG).
4. 4.1 Streitig ist der Anspruch der Beschwerdegegnerin auf eine Rente der Invalidenversicherung. Dabei ist insbesondere zu prüfen, ob die Überwachung durch einen Privatdetektiv rechtlich zulässig und somit die Observationsergebnisse als rechtmässig erlangtes Beweismittel verwertbar sind, was die Vorinstanz verneint.
4.2 Das kantonale Gericht sieht die durch Art. 43 in Verbindung mit Art. 28 Abs. 2 ATSG abgedeckte Beobachtung im öffentlichen Raum (<ref-ruling>) überschritten: Ein Eingriff in das Grundrecht auf Schutz der Privatsphäre (Art. 13 BV) setze einen begründeten (Anfangs-)Verdacht für die Anordnung der Observation voraus, welcher hier nicht vorliege. Die Observation sei auch nicht erforderlich gewesen, weshalb sie als unverhältnismässig anzusehen sei. Sodann gehöre der Balkon einer Wohnung zum Hausfriedensbereich gemäss Art. 186 StGB. Indem der Privatdetektiv Tatsachen aufgenommen habe, die sich in diesem geschützten Privatbereich abspielten, sei Art. 179quater StGB verletzt worden.
4.3 Wie die Vorinstanz feststellte, entstand der überwiegende Teil der Aufnahmen des Privatdetektivs aus der Beobachtung der Balkone der von der Versicherten gemieteten Wohnungen an der Strasse X._, und (nach dem Umzug) an der Strasse Y._. Die meisten gefilmten Tätigkeiten haben nicht an öffentlich zugänglichen Orten stattgefunden, aber an einem ohne weiteres öffentlich einsehbaren Privatbereich in dem Sinne, dass beide Balkone nicht gegen Einblicke besonders geschützt waren und das ungehinderte, freie Beobachten der Beschwerdegegnerin ohne spezielle Vorkehrungen von der Strasse aus möglich war.
4.4 Nach der Rechtsprechung berührt die Erhebung und Aufbewahrung erkennungsdienstlicher Daten, worunter auch Videoaufnahmen fallen, im öffentlich-rechtlichen Verhältnis den Schutzbereich der persönlichen Freiheit oder den Schutz der Privatsphäre (Art. 10 Abs. 2 und Art. 13 BV; <ref-ruling> E. 8.1; <ref-ruling> E. 4.4; <ref-ruling> E. 3.2 mit Hinweisen). In der privatdetektivlichen Beobachtung der Beschwerdegegnerin im frei einsehbaren privaten Raum ist eine Verletzung der Privatsphäre zu sehen. Eine Einschränkung des verfassungsrechtlichen Persönlichkeitsschutzes bedarf einer gesetzlichen Grundlage, muss im öffentlichen Interesse liegen, verhältnismässig sein und den Kerngehalt des Grundrechts wahren (Art. 36 BV; <ref-ruling> E. 4.4 S. 171 f.). Diese Voraussetzungen sind nachfolgend zu prüfen.
5. 5.1 In <ref-ruling> E. 5.4.2 S. 173 hat das Bundesgericht erwogen, eine regelmässige Observation versicherter Personen durch Privatdetektive stelle jedenfalls dann einen durch Art. 43 in Verbindung mit Art. 28 Abs. 2 ATSG abgedeckten, relativ geringfügigen Eingriff in die grundrechtlichen Positionen der überwachten Personen dar, wenn sie sich auf den öffentlichen Raum beschränken. Durch eine solche Überwachung werde der Kerngehalt von Art. 13 BV nicht angetastet (vgl. auch: <ref-ruling> E. 2.5.1 S. 242). Da die genannten Bestimmungen des ATSG im Bereich der Invalidenversicherung ebenfalls anwendbar sind (Art. 2 ATSG in Verbindung mit Art. 1 Abs. 1 IVG), ist die Voraussetzung einer hinreichenden gesetzlichen Grundlage einer Observation im öffentlichen Raum grundsätzlich erfüllt.
5.2 Für das invalidenversicherungsrechtliche Verfahren besteht überdies in Art. 59 Abs. 5 IVG eine spezialgesetzliche Grundlage, welche zur Bekämpfung des ungerechtfertigten Leistungsbezugs den Beizug von Spezialisten ermöglicht. Dass damit der Einsatz von Privatdetektiven gemeint ist, steht nicht in Frage (AEBI-MÜLLER/EICKER/VERDE, Grenzen bei der Verfolgung von Versicherungsmissbrauch mittels Observation, in: Versicherungsmissbrauch, Riemer-Kafka [Hrsg.], Zürich 2010, S. 39 mit Verweis in Fn. 117 auf AB 2006 N 396; 2006 S 609). Hinsichtlich der notwendigen Bestimmtheit der gesetzlichen Grundlage lässt sich weder dem Gesetzeswortlaut noch der Botschaft (BBl 2005 4459 Ziff. 2.1 zu Art. 59 Abs. 5 IVG) etwas entnehmen. Jedenfalls sind die Voraussetzungen einer zulässigen privatdetektivlichen Observation durch die Spezialgesetzgebung nicht weiter eingeschränkt. In Beachtung des Umstands, dass bei der hier zu beurteilenden Sachlage der Eingriff in die Privatsphäre nach Art. 13 BV nicht als schwer einzustufen ist, wie sich aus den nachstehenden Erwägungen ergibt, kann - auch wenn sich die Observation nicht auf den öffentlichen Raum beschränkte, sondern den von jedermann ohne weiteres einsehbaren Privatbereich miteinbezog - in Art. 59 Abs. 5 IVG von seinem Wortlaut sowie seinem Sinn und Zweck her eine hinreichende gesetzliche Grundlage für die hier zu beurteilende Observation gesehen werden.
5.3 Das öffentliche Interesse an der Einschränkung des Schutzes der Privatsphäre liegt darin, nur geschuldete Leistungen zu erbringen, um die Gemeinschaft der Versicherten nicht zu schädigen (<ref-ruling> E. 3.3.3 S. 325). Dieses Interesse an einer wirksamen Missbrauchsbekämpfung und der Aufdeckung bzw. Verhinderung von Versicherungsbetrug, welches im Privatversicherungsbereich als Rechtfertigungsgrund der mit einer Observation verbundenen Persönlichkeitsverletzung (vgl. Art. 28 ZGB) anerkannt ist (SJ 1998 S. 301, 5C.187/1997 E. 2), gilt gleichermassen auch im Sozialversicherungsrecht (<ref-ruling> E. 5.5 S. 174).
5.4 In Bezug auf die Verhältnismässigkeit der Observation hat eine Interessenabwägung unter den Gesichtspunkten der Eignung, Erforderlichkeit und Zumutbarkeit (Verhältnismässigkeit im engeren Sinn) zu erfolgen:
5.4.1 Die Anordnung einer Observation durch einen Privatdetektiv ist grundsätzlich ein geeignetes Mittel, um die versicherte Person bei der Ausübung alltäglicher Verrichtungen zu sehen. Die unmittelbare Wahrnehmung kann bezüglich der Arbeitsfähigkeit einen anderen Erkenntnisgewinn bringen als eine weitere Begutachtung (vgl. E. 1.4), was dem Ziel einer wirksamen Missbrauchsbekämpfung dienen kann (zur Alternative einer ärztlichen Untersuchung anstelle einer Observation: <ref-ruling> E. 5.6 S. 174 f.).
5.4.2
5.4.2.1 Zur vom kantonalen Gericht vertretenen Ansicht, die Observation sei unverhältnismässig, da nicht auf einem begründeten Anfangsverdacht beruhend, führte das Bundesgericht in <ref-ruling> E. 4.2. S. 416 ff. mit Hinweis auf <ref-ruling> E. 2c S. 74 aus, dass der Begriff "Anfangsverdacht" die Strafverfolgung betreffe, die bei Vorliegen eines hinreichenden Anfangsverdachts zu eröffnen sei und im Zusammenhang mit dem privatrechtlichen Persönlichkeitsschutz regelmässig nicht verwendet werde. Vielmehr wurde die objektive Gebotenheit der Observation als wichtiges Element der Interessenabwägung im Persönlichkeitsschutz bezeichnet. Dies hat gleichfalls für den verfassungsrechtlichen Persönlichkeitsschutz zu gelten. Die Observation muss demnach objektiv geboten sein, womit gemeint ist, dass konkrete Anhaltspunkte vorliegen müssen, die Zweifel an den geäusserten gesundheitlichen Beschwerden oder der geltend gemachten Arbeitsunfähigkeit aufkommen lassen. Solche Anhaltspunkte können beispielsweise gegeben sein bei widersprüchlichem Verhalten der versicherten Person, oder wenn Zweifel an der Redlichkeit derselben bestehen (eventuell durch Angaben und Beobachtungen Dritter), bei Inkonsistenzen anlässlich der medizinischen Untersuchung, Aggravation, Simulation oder Selbstschädigung u.Ä. (vgl. <ref-ruling> E. 4.2.1 S. 417 f. mit Verweis auf DETTWILER/HARDEGGER, Zulässige Video-Überwachung von Suva-Versicherten, HAVE 2003 S. 246 ff., S. 247 Ziff. III/3/a). Diese Elemente können einzeln oder in Kombination zureichende Hinweise liefern, die zur objektiven Gebotenheit der Observation führen.
5.4.2.2 Der RAD-Arzt Dr. med. N._ hielt am 5. Juni 2008 fest, dass hinsichtlich der vegetativen Begleitsymptomatik eine Tendenz zur Symptomausweitung bestehe. Im Gutachten der MEDAS konnte das ausgedehnte, generalisierte Schmerzsyndrom mit der vegetativen Begleitsymptomatik somatisch nur teilweise erklärt werden. Es lagen gutachterliche Hinweise auf eine erhebliche Verdeutlichung und eine Selbstlimitierung mit zum Teil nicht nachvollziehbarer Schmerzangabe vor. Die Gutachter massen sodann den psychischen Faktoren entscheidende Bedeutung zu, wobei sich der begutachtende Psychiater Dr. med. I._, wesentlich auf die subjektiven Angaben der Versicherten abstützte, jedoch ebenfalls festhielt, eine demonstrative Tendenz sei nicht zu übersehen gewesen. Die Versicherte umschrieb Leistungseinschränkungen, die nicht mehr plausibel erschienen und ärztlicherseits nur teilweise objektiviert werden konnten, was bereits im Austrittsbericht der Klinik Z._ (vom 15. Mai 2008) anlässlich eines vom 15. April bis 8. Mai 2008 erfolgten stationären Aufenthaltes erwähnt wurde.
5.4.2.3 Bei dieser Sachlage bestanden genügend Anhaltspunkte, die trotz umfassender Begutachtung Zweifel an den behaupteten Beeinträchtigungen aufkommen liessen. Das bei der Versicherten diagnostizierte generalisierte chronische Schmerzsyndrom führte gemäss ihren Angaben zu Rückenschmerzen "von unten bis zum Nacken ausstrahlend mit Blockierungen und Bewegungseinschränkungen". Da ärztlicherseits jedoch nicht nur organische Ursachen hiefür gefunden werden konnten, sondern, nebst einer mittelgradigen depressiven Episode mit einer generalisierten Angststörung mit Panikattacken, auch somatoforme Beeinträchtigungen diagnostiziert wurden, ist die unmittelbare Wahrnehmung mittels Überwachung als geeignet und erforderlich anzusehen, um das Ausmass der tatsächlichen Einschränkungen zu erfassen, da sich die Einschätzung der Arbeitsfähigkeit aufgrund des Zusammenspiels somatischer und somatoformer Leiden mit einer Verdeutlichungstendenz und Selbstlimitierung sowie psychischer Beeinträchtigungen ausserordentlich schwierig erwies (vgl. E. 1.4 hievor).
5.5 Hinsichtlich der Zumutbarkeit hat eine Interessenabwägung zu erfolgen. Die von der Observation betroffene Person erhebt gegenüber der Versicherung einen Anspruch und ist deshalb verpflichtet, an Abklärungen ihres Gesundheitszustands, ihrer Arbeitsfähigkeit usw. mitzuwirken, und sie hat zu dulden, dass allenfalls auch ohne ihr Wissen von der Versicherung die objektiv gebotenen Untersuchungen durchgeführt werden (<ref-ruling> E. 2.2.3 S. 413 f.; <ref-ruling> E. 3.3.3 S. 324 f.; <ref-ruling> E. 5.1 S. 172). Zu berücksichtigen ist auch die Höhe des geltend gemachten Anspruchs, welche mit Blick auf die geforderte Rente als erheblich zu bezeichnen ist. Nicht überschritten wurde sodann das Ausmass der Observation in zeitlicher und inhaltlicher Hinsicht, wurden doch einzig für die Anspruchsbeurteilung relevante Alltagsverrichtungen gefilmt. Dies betrifft auch die Aufnahmen im häuslichen Bereich der frei einsehbaren Balkone, die keinerlei Vorgänge mit engem Bezug zur Privatsphäre festhielten, sondern vorwiegend Reinigungsarbeiten dokumentierten. Damit bestand ein vernünftiges Verhältnis zwischen dem Ziel der Verhinderung des ungerechtfertigten Leistungsbezugs und dem durch die Observation erfolgten Eingriff in die Privatsphäre der Versicherten.
5.6 Zusammenfassend ergibt sich daher Folgendes: Wenn konkrete Anhaltspunkte bestehen, die Zweifel an der behaupteten Arbeitsunfähigkeit wecken (objektive Gebotenheit der Observation), die Observation nur während einer verhältnismässig kurzen, begrenzten Zeit stattfindet (hier: während drei Tagen), und einzig Verrichtungen des Alltags ohne engen Bezug zur Privatsphäre (hier: vorwiegend Putzen des Balkons, Einkaufstüten tragen) gefilmt werden, ist der Persönlichkeitsbereich auch bei einer Observation im öffentlich einsehbaren, privaten Raum nur geringfügig tangiert und wiegt der Eingriff in die Persönlichkeitsrechte nicht schwer (vgl. auch <ref-ruling> E. 4.4 S. 418 f.; <ref-ruling> E. 5.4.2 S. 173 f.; <ref-ruling> E. 5.3 S. 85). Umgekehrt hat die Versicherung und die dahinter stehende Versichertengemeinschaft ein erhebliches schutzwürdiges Interesse daran, dass nicht zu Unrecht Leistungen erbracht werden. Mit anderen Worten wird bei der erfolgten Observation kein Rechtsgut verletzt, welches Vorrang vor dem öffentlichen Interesse der Missbrauchsbekämpfung hat, und unter Einbezug sämtlicher Umstände sind die Interessen der Beschwerdeführerin gegenüber den privaten Interessen der Beschwerdegegnerin als höherwertig einzustufen. Die durchgeführte Observation ist als zumutbar und damit verhältnismässig im engeren Sinn zu bezeichnen. Der Kerngehalt von Art. 13 BV wird durch die Anordnung einer solchen Überwachung ebenfalls nicht angetastet.
6. 6.1 Mit Blick auf die vorinstanzliche Auffassung, vorliegend habe die mit der Observation beauftragte Person Art. 179quater StGB verletzt, ist festzuhalten, dass gegen Art. 179quater StGB ("Verletzung des Geheim- oder Privatbereichs durch Aufnahmegeräte") verstösst, wer eine Tatsache aus dem Geheimbereich eines andern oder eine nicht jedermann ohne weiteres zugängliche Tatsache aus dem Privatbereich eines andern ohne dessen Einwilligung mit einem Aufnahmegerät beobachtet oder auf einen Bildträger aufnimmt (Abs. 1).
Die in Art. 179quater StGB benutzte Wendung "nicht jedermann ohne weiteres zugängliche Tatsache aus dem Privatbereich" erfasst die auf die Lebensverhältnisse einer Person bezogenen Tatsachen, deren Wahrnehmung nur einem begrenzten Personenkreis möglich ist (STRATENWERTH/WOHLERS, Schweizerisches Strafgesetzbuch, Handkommentar, 2. Aufl. 2009, N. 9 zu Art. 179quater StGB). Nicht zum geschützten Bereich gehört, was sich in der Öffentlichkeit abspielt und von jedermann wahrgenommen werden kann. Zur geschützten Privatsphäre gehören demnach grundsätzlich dagegen alle Vorgänge in geschlossenen, gegen den Einblick Aussenstehender abgeschirmten Räumen und Örtlichkeiten (STRATENWERTH/JENNY/BOMMER, Schweizerisches Strafrecht, Besonderer Teil I, 7. Aufl. 2010, § 12 Rz. 55; FRANZ RIKLIN, Der strafrechtliche Schutz des Rechts am eigenen Bild, in: Festschrift für Leo Schürmann, Freiburg i. Ü. 1987, S. 550 f.; <ref-ruling> E. 3b S. 324; <ref-ruling> E. 4 S. 46 ff.), wie Vorgänge in einem Haus, in einer Wohnung oder in einem abgeschlossenen, privaten Garten (VON INS/WYDER, in: Basler Kommentar, Strafrecht, Bd. II, 2. Aufl. 2007, N. 9 zu Art. 179quater StGB). In Literatur und Rechtsprechung unbestritten ist, dass Vorgänge in einem solchen nach Art. 186 StGB geschützten Raum nicht mit technischen Hilfsmitteln beobachtet oder aufgenommen werden dürfen. Mit Blick auf den häuslichen Bereich wird in der Literatur auch die Ansicht vertreten, dass nicht jede beliebige Aufnahme aus dem geschützten Privatbereich strafbar sein soll, sondern nur die Abbildung eines Objekts erfasst sein kann, das einen engen Bezug zur Privatsphäre hat. Genannt werden das Eigenleben betreffende Tatsachen aus dem Privatbereich im engeren Sinn, die faktisch also nicht jedermann ohne weiteres zugänglich sind (TRECHSEL/LIEBER, Schweizerisches Strafgesetzbuch, Praxiskommentar, 2008, N. 4 zu Art. 179quater StGB mit weiteren Hinweisen; BGE <ref-ruling> E. 4b bis 4e S. 46 ff.); es geht um das Festhalten privater Lebensvorgänge (vgl. RIKLIN, a.a.O., S. 551 und MARTIN SCHUBARTH, Kommentar zum schweizerischen Strafrecht, Schweizerisches Strafgesetzbuch, Besonderer Teil, 3. Bd., N. 12 zu Art. 179quater StGB). Müssen körperliche oder rechtlich-moralische Schranken überwunden werden, um damit in die Privatsphäre im engeren Sinn fallende Tatsachen aufzunehmen, sind die Tatsachen nicht mehr "ohne weiteres" jedermann zugänglich. Als rechtlich-moralisches Hindernis gilt eine Grenze, die nach den hierzulande allgemein anerkannten Sitten und Gebräuchen ohne die Zustimmung der Betroffenen nicht überschritten wird (BGE <ref-ruling> E. 4e S. 49 f.). Bei einer Person, die bei freiwillig ausgeübten, von blossem Auge beobachtbaren Alltagsverrichtungen in einem von jedermann öffentlich einsehbaren Bereich gefilmt wird, darf angenommen werden, sie habe insoweit auf einen Schutz der Privatheit verzichtet und in diesem Umfang ihre Privatsphäre der Öffentlichkeit ausgesetzt.
6.2 Die Beobachtung der Beschwerdegegnerin auf den Balkonen tangierte demnach zwar ihren Privatbereich, beide Balkone der beobachteten Wohnungen waren aber von der Strasse aus frei einsehbar. Soweit und solange sie sich auf den nicht abgeschirmten Balkonen aufhielt, waren sämtliche Handlungen daher faktisch nicht mehr nur von nahe verbundenen Personen, sondern von jedermann ohne weiteres wahrnehmbar. Es handelt sich dabei um Tatsachen, die ohne Überwindung einer physischen oder psychologischen Schranke zugänglich waren. Ausserdem liegen keine besonders persönlichkeitsträchtige Szenen, sondern freiwillig ausgeübte Alltagsverrichtungen vor; die Aufnahmen weisen keinen engen Bezug zur Privatsphäre auf, weshalb bei der Observation nicht gegen Art. 179quater StGB verstossen wurde. Es kann daher offengelassen werden, ob allenfalls ein überwiegendes öffentliches Interesse an der Vermeidung eines ungerechtfertigten Leistungsbezugs besteht, welches auch ein einer Straftatbestand (von Art. 179quater StGB) erfüllendes Verhalten rechtfertigen würde.
6.3 Die Vorinstanz hat demzufolge den Untersuchungsgrundsatz (Art. 61 lit. c ATSG) und das Recht der Beschwerdeführerin auf Beweis (Art. 29 Abs. 2 BV) verletzt, indem sie die Observationsergebnisse als unzulässiges Beweismittel aus den Akten entfernen liess. Die Beweiserhebung mittels der vorgenommenen Observation war dementgegen rechtmässig.
7. 7.1 Die Ergebnisse einer zulässigen Überwachung können zusammen mit einer ärztlichen Aktenbeurteilung grundsätzlich geeignet sein, eine genügende Basis für Sachverhaltsfeststellungen betreffend den Gesundheitszustand und die Arbeitsfähigkeit zu bilden (SVR 2010 UV Nr. 17 S. 63, 8C_239/2008 E. 7; Urteil 9C_891/2010 vom 31. Dezember 2010 E. 5.2).
7.2 Auf den Videoaufnahmen ist ersichtlich, dass sich die Beschwerdegegnerin auf den Balkonen und ausser Haus ohne offenkundige Beeinträchtigung physischer oder psychischer Natur bewegt. Sie zeigt ein flüssiges, zügiges Gangbild, pflegt Kontakt zu Bekannten und Verwandten und ist imstande, Reinigungsarbeiten (z.B. Staubsaugen und Boden wischen in der Hocke sowie Teppich ausschütteln) auszuführen und Einkaufstaschen zu tragen. Es bereitete ihr offenbar ebenso wenig Mühe, in einem gut besetzten Zugabteil eine halbe Stunde sitzend, Zug zu fahren (Ermittlungsbericht vom 9. Oktober 2010). Die Angabe der Beschwerdegegnerin, sie hätte an diesen Tagen einfach mehr Schmerzmittel eingenommen, um sich flüssiger und freier bewegen zu können, erscheint in Anbetracht des Umstands, dass im anlässlich der MEDAS-Begutachtung untersuchten Medikamentenspiegel weder die behauptete Einnahme von Trazodon, Tramadol noch Parazetamol nachweisbar waren, wenig glaubhaft. Unabhängig davon, ob sie zudem einen Stützgurt trug, wie geltend gemacht wird, lassen sich die Observationsergebnisse nur schwer mit dem diagnostizierten, seit Jahren bestehenden generalisierten Schmerzsyndrom mit von unten bis in den Nacken ausstrahlenden, permanenten Rückenschmerzen mit Bewegungseinschränkungen und Blockierungen in Einklang bringen. Auch wenn die RAD-Ärztin Dr. med. H._ die Ansicht vertrat, das beobachtete Verhalten der Versicherten ohne jede Schonhaltung lasse eine leichte bis mittelschwere Reinigungstätigkeit zu, und ausführte "diese angebliche dauerhafte schwere psychische Beeinträchtigung ist durch das Observationsmaterial nachhaltig in ihrer Glaubhaftigkeit erschüttert", ist jedoch mit Blick auf die diagnostizierten Leiden gestützt hierauf noch nicht auf das Fehlen einer rentenrelevanten, gesundheitlichen Beeinträchtigung zu schliessen. Angesichts der zu den Observationsergebnissen stark divergierenden Untersuchungsresultate im MEDAS-Gutachten vom 20. Februar 2009, wobei die Gutachter nicht zuletzt wegen den psychischen Faktoren von einer vollständigen Arbeitsunfähigkeit ausgingen, sind die durch die Aufnahmen aufgeworfenen Fragen nicht vollständig aus dem Weg geräumt.
Mit der Vorinstanz ist zudem festzustellen, dass in der Expertise der MEDAS eine Auseinandersetzung namentlich mit dem Austrittsbericht der Klinik Z._ vom 15. Mai 2008 fehlt, worin, im Gegensatz zu den MEDAS-Gutachtern, keine eigenständige depressive Störung und Angststörung diagnostiziert, sondern eine Anpassungsstörung mit Angst und depressiver Reaktion gemischt aufgeführt wurde, die aus Sicht der Ärzte der Klinik Z._ lediglich zu einer Arbeitsunfähigkeit von 20 % führte. Die Experten der MEDAS legten nicht dar, weshalb sie zum Schluss gelangten, der psychische Gesundheitszustand der Versicherten habe sich seit dem stationären Aufenthalt in der Klinik Z._ (vom 15. April bis 8. Mai 2008) - mithin innerhalb eines Jahres - derart verschlechtert, dass aus psychischer Sicht die Arbeitsfähigkeit um 70 % eingeschränkt war und warum überdies neu der Verdacht auf eine anhaltende somatoforme Schmerzstörung bestand. Schliesslich finden sich in der Expertise keine Hinweise darauf, inwiefern die festgestellte Verdeutlichungstendenz und Selbstlimitierung in die Beurteilung der Arbeitsfähigkeit eingeflossen sind.
7.3 Trotz der vorliegenden Schwierigkeiten, aus medizinischer Sicht die tatsächlich bestehenden gesundheitlichen Beschwerden festzustellen und gestützt hierauf eine Arbeitsfähigkeitsschätzung abzugeben, können die bestehenden Divergenzen hinsichtlich des erwerblichen Zumutbarkeitsprofils nicht im Rahmen einer Beweiswürdigung aufgelöst werden. Es besteht daher aufgrund der diametral entgegengesetzten Schlüsse aus Begutachtung und Observation Anlass zu weiteren medizinischen Abklärungen. Diese sind interdisziplinär auszurichten, um den somatischen wie psychischen Leiden Rechnung zu tragen. Entgegen der vorinstanzlichen Ansicht wird das Observationsmaterial von den Medizinern dabei nach dem Gesagten zu berücksichtigen sein. Die Sache ist daher an die Beschwerdeführerin zurückzuweisen.
8. 8.1 Streitig ist ferner die unentgeltliche Verbeiständung im Verwaltungsverfahren. Die IV-Stelle hat die Notwendigkeit der Verbeiständung verneint, da die Versicherte in rechtsmissbräuchlicher Weise mit aggravatorischem und selbstlimitierendem Verhalten sowie unwahren Angaben versucht habe, Leistungen der Invalidenversicherung zu erwirken.
8.2 Gemäss Art. 29 Abs. 3 BV hat jede Person, die nicht über die erforderlichen Mittel verfügt, Anspruch auf unentgeltliche Rechtspflege, wenn ihr Rechtsbegehren nicht aussichtslos erscheint. Soweit es zur Wahrung ihrer Rechte notwendig ist, hat sie ausserdem Anspruch auf unentgeltlichen Rechtsbeistand. Auf Gesetzesstufe räumt Art. 37 Abs. 4 ATSG einer bedürftigen Partei bei nicht aussichtslosen Rechtsbegehren einen Anspruch auf unentgeltliche Verbeiständung im sozialversicherungsrechtlichen Verwaltungsverfahren ein, wo die Verhältnisse es erfordern. Letzteres ist rechtsprechungsgemäss nur in Ausnahmefällen zu bejahen; vorausgesetzt wird namentlich, dass sich schwierige rechtliche oder tatsächliche Fragen stellen und eine Interessenwahrung durch Verbandsvertreter, Fürsorgestellen oder andere Fach- und Vertrauensleute sozialer Institutionen nicht in Betracht fällt (<ref-ruling> E. 4.1 S. 201). Zu gewichten ist auch die Fähigkeit der versicherten Person, sich im Verfahren zurechtzufinden (<ref-ruling> E. 4b S. 35).
8.3 Das kantonale Gericht führte hiezu aus, im vorliegenden Verfahren habe die Versicherte zu verschiedenen, divergierenden medizinischen Unterlagen Stellung nehmen und sich zu widersprüchlichen Angaben in den Akten äussern müssen, wobei auch die Frage der Zulässigkeit der Verwertung des Observationsmaterials im Raume stand. Unter diesen Umständen sei das Verfahren sachverhaltsmässig und rechtlich als komplex zu bezeichnen und die Versicherte damit alleine überfordert gewesen, weshalb eine anwaltliche Vertretung erforderlich gewesen sei.
8.4 Den diesbezüglichen Ausführungen der Vorinstanz ist insoweit zuzustimmen, als sie nicht zuletzt wegen der strittigen Rechtmässigkeit der erfolgten Observation und der Verwertbarkeit des entsprechenden Bildmaterials von einer komplexen Sach- und Rechtslage ausging. Es steht jedoch auch die Frage einer rechtsmissbräuchlichen Inanspruchnahme von Leistungen der Invalidenversicherung im Raum. Ein rechtsmissbräuchliches Prozessieren ist von vornherein nicht vom Schutzbereich von Art. 29 Abs. 3 BV erfasst (Stefan Meichssner, Das Grundrecht auf unentgeltliche Rechtspflege [Art. 29 Abs. 3 BV], 2008, S. 104). Ob die Versicherte indes bewusst unwahre Angaben machte oder Krankheitssymptome vortäuschte - sie hatte das Vorliegen eines Unrechtstatbestandes sowie eines vorwerfbaren Verhaltens stets bestritten - bildete Streitpunkt im Verwaltungsverfahren. Dies lässt sich auch im vorliegenden, letztinstanzlichen Verfahren insoweit nicht abschliessend beantworten, als erst die erneute medizinische Begutachtung darüber Aufschluss geben wird. Damit ist die Frage des Anspruchs auf unentgeltliche Verbeiständung im Verwaltungsverfahren im Prozess vor Bundesgericht offen zu lassen. Die Beschwerdeführerin wird darüber - in Berücksichtigung der Begutachtungsergebnisse - neu zu befinden haben.
9. Die Beschwerdeführerin obsiegt insofern, als das Observationsmaterial als rechtmässig erlangtes Beweismaterial zu verwerten ist und die erneuten medizinischen Abklärungen auch in somatischer Hinsicht zu erfolgen haben. Es rechtfertigt sich bei diesem Ausgang des Verfahrens, die Kosten den Parteien je hälftig aufzuerlegen (Art. 66 Abs. 1 BGG), wobei der Anteil der Beschwerdegegnerin infolge Gewährung der unentgeltlichen Rechtspflege (Art. 64 Abs. 1 BGG) vorderhand auf die Gerichtskasse genommen wird. Die Beschwerdeführerin hat der Beschwerdegegnerin überdies eine reduzierte Parteientschädigung zu entrichten (Art. 68 Abs. 1 und 2 BGG). Für den Rest erhält der Rechtsvertreter der Beschwerdegegnerin als unentgeltlicher Rechtsbeistand eine Entschädigung aus der Gerichtskasse (Art. 64 Abs. 2 BGG). Die Beschwerdegegnerin wird darauf aufmerksam gemacht, dass sie der Gerichtskasse Ersatz zu leisten haben wird, falls sie später dazu in der Lage ist (Art. 64 Abs. 4 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen und Dispositiv-Ziffer 1 des Entscheids des Versicherungsgerichts des Kantons St. Gallen vom 3. März 2011 wird insoweit abgeändert, als der Observationsbericht zu berücksichtigen ist und die Abklärungen im Sinne der Erwägungen des Urteils des Bundesgerichts zu erfolgen haben. Im Übrigen wird die Beschwerde abgewiesen.
2. Von den Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin und der Beschwerdegegnerin je Fr. 250.- auferlegt. Der Anteil der Beschwerdegegnerin wird vorläufig auf die Gerichtskasse genommen.
3. Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 1'400.- zu entschädigen.
4. Rechtsanwalt Josef Jakober, St. Gallen, wird als unentgeltlicher Anwalt der Beschwerdegegnerin bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 1'400.- ausgerichtet.
5. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Versicherungsgericht des Kantons St. Gallen zurückgewiesen.
6. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 11. November 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Polla