Sachverhalt:
A. Mit Verfügung vom 29. Juni 2007 lehnte die IV-Stelle des Kantons St. Gallen das Rentengesuch der A._ mangels rentenbegründender Invalidität ab. Die hiegegen erhobene Beschwerde hiess die Präsidentin der Abteilung I des Versicherungsgerichts des Kantons St. Gallen mit Entscheid vom 27. März 2008 teilweise gut, hob die Verfügung vom 29. Juni 2007 auf und wies die Sache zu weiteren medizinischen Abklärungen im Sinne der Erwägungen und zur neuen Verfügung an die IV-Stelle zurück. Am Entscheid wirkte Gerichtsschreiber X._ mit.
B. Die IV-Stelle des Kantons St. Gallen führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides sei das kantonale Gericht anzuweisen, über die Sache in anderer Besetzung neu zu entscheiden.
Das kantonale Gericht schliesst auf Abweisung der Beschwerde. A._ lässt den Antrag auf Abweisung der Beschwerde stellen. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.
Erwägungen:
1. Beim angefochtenen Rückweisungsentscheid handelt es sich, da das Verfahren noch nicht abgeschlossen wird und die Rückweisung auch nicht einzig der Umsetzung des oberinstanzlich Angeordneten dient, um einen - selbstständig eröffneten - Vor- oder Zwischenentscheid im Sinne von Art. 92 und 93 BGG (BGE 133 V 477 E. 4.2 S. 481 f. mit Hinweisen). Ein solcher Rückweisungsentscheid bewirkt rechtsprechungsgemäss in der Regel keinen irreversiblen Nachteil im Sinne von Art. 93 Abs. 1 lit. a BGG. Wird hingegen gegen einen solchen Vor- und Zwischenentscheid Beschwerde geführt mit der Rüge, das Gericht habe nicht in verfassungsmässiger Besetzung entschieden, ist auf die Beschwerde einzutreten. Zum einen ergibt sich dies daraus, dass gegen selbstständig eröffnete Vor- und Zwischenentscheide über die Zuständigkeit und über Ausstandsbegehren die Beschwerde zulässig ist (Art. 92 Abs. 1 BGG). Anderseits sind die Ablehnungs- und Ausstandsgründe so früh wie möglich geltend zu machen, ansonsten der Anspruch auf spätere Anrufung der vermeintlich verletzten Ausstandsbestimmungen verwirkt ist (BGE 132 II 485 E. 4.3 S. 496 mit Hinweisen; vgl. auch Art. 92 Abs. 2 BGG). Auf die Beschwerde ist daher einzutreten.
2. 2.1 Die Verletzung von Grundrechten (einschliesslich der willkürlichen Anwendung von kantonalem Recht und Willkür bei der Sachverhaltsfeststellung, BGE 133 II 249 E. 1.4.3 S. 255) prüft das Bundesgericht nicht von Amtes wegen, sondern nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG; BGE 133 II 249 E. 1.4.2 S. 254 mit Hinweisen).
2.2 Rechtsverletzungen im Sinne von Art. 95 lit. a und b BGG prüft das Bundesgericht grundsätzlich frei, einschliesslich die Frage, ob die Auslegung und Anwendung des kantonalen Rechts zu einer Bundesrechtswidrigkeit führt. Im Übrigen prüft das Bundesgericht die Handhabung kantonalen Rechts - vorbehältlich der in Art. 95 lit. c und d BGG genannten Fälle - bloss auf Willkür hin (Art. 9 BV; vgl. BGE 131 I 467 E. 3.1 S. 473 f.). Mit freier Kognition beurteilt es indessen die Frage, ob die als vertretbar erkannte Auslegung des kantonalen Prozessrechts mit den Garantien der Art. 30 Abs. 1 BV und Art. 6 Ziff. 1 EMRK vereinbar ist.
2.3 Nach der ständigen Rechtsprechung des Bundesgerichts liegt Willkür in der Rechtsanwendung vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist; dass eine andere Lösung ebenfalls vertretbar oder gar zutreffender erscheint, genügt nicht (BGE 132 I 175 E. 1.2 S. 177; 131 I 467 E. 3.1 S. 473 f., je mit Hinweisen).
3. 3.1 Die Rechtspflegebestimmung des Art. 61 ATSG enthält keine Vorschrift über die Zusammensetzung der kantonalen Versicherungsgerichte. Die Regelung dieser Frage obliegt somit den Kantonen. Sowohl Art. 30 Abs. 1 BV als auch Art. 6 Ziff. 1 EMRK geben dem Einzelnen Anspruch auf richtige Besetzung des Gerichts und Einhaltung der jeweils geltenden staatlichen Zuständigkeitsordnung (BGE 129 V 335 E. 1.3.1 S. 338, 128 V 82 E. 2a S. 84, 127 I 128 E. 3c S. 130, S. 196 E. 2b S. 198, 126 I 168 E. 2b S. 170; SVR 2000 UV Nr. 21 S. 72 E. 2a).
3.2 Nach Art. 9 Abs. 1 der st. gallischen Verordnung über die Organisation des Versicherungsgerichts vom 11. Januar 2005 (sGS 941.114) können in einfachen Fällen die Abteilungspräsidentinnen und Abteilungspräsidenten sowie die teilamtlichen Mitglieder als Einzelrichterinnen und Einzelrichter entscheiden. Als einfache Fälle gelten insbesondere Streitsachen mit einem unbestrittenen oder eindeutigen Sachverhalt, die aufgrund einer klaren Rechtslage oder einer feststehenden Gerichtspraxis beurteilt werden können (Abs. 2).
3.3 Die IV-Stelle macht in der Beschwerde geltend, da kein einfacher Fall vorliege, hätte die Vorinstanz in ordentlicher Besetzung entscheiden müssen. Der angefochtene Entscheid stütze sich weder auf eine klare Rechtslage, eine feststehende Gerichtspraxis noch auf einen unbestrittenen oder eindeutigen Sachverhalt. Letzteres ergebe sich auch daraus, dass die Vorinstanz ihren Entscheid nicht summarisch begründen konnte. Ein Präsidialentscheid sei daher unzulässig gewesen und verstosse gegen den in Art. 30 BV garantierten Anspruch auf ein zuständiges Gericht.
Die Vorinstanz bringt in der Vernehmlassung vor, es habe ein klarer, einfacher Fall vorgelegen, der aufgrund einer nach Abschluss des Schriftenwechsels vorgenommenen Triage durch die Verfahrensleitung als einzelrichterlicher Fall bezeichnet worden sei. In Anbetracht der im Entscheid wiedergegebenen Mängel der Begutachtung sei nämlich die Rechtslage klar: es fehle eine beweistaugliche Grundlage für die Beurteilung, weshalb ohne Verzug eine neuerliche Begutachtung anzuordnen gewesen sei. Ein einzelrichterliches Urteil sei nach der st. gallischen Verfahrensordnung ein "normales" Urteil, das auch so zu begründen und wie ein Kollegialurteil weiterzugsfähig sei. Eine bloss summarische Begründung sei einzig für Präsidialverfügungen im Sinne von Art. 66 des kantonalen Gerichtsgesetzes (sGS 941.1) vorgesehen. Hier könne durch eine einfache Erklärung ein "normales" Urteil des Gerichts verlangt werden (Art. 66 Abs. 2 GerG).
3.4 Die Auslegung der kantonalen Zuständigkeitsvorschrift durch die Vorinstanz ist nicht willkürlich. Art. 9 Abs. 1 der Verordnung über die Organisation lässt einzelrichterliche Entscheide "in einfachen Fällen" zu. Als solche gelten insbesondere Streitsachen mit einem unbestrittenen oder eindeutigen Sachverhalt, die aufgrund einer klaren Rechtslage oder einer feststehenden Gerichtspraxis beurteilt werden können (Abs. 2). Mit dieser Umschreibung sind entgegen dem im Urteil vom 8. Juni 2004 (I 578/03) erweckten Anschein nicht nur offensichtlich unzulässige oder offensichtlich unbegründete Beschwerden erfasst, sondern allgemein Fälle, die in tatsächlicher und rechtlicher Hinsicht einfach sind, d.h. keine Rechtsfragen von grundsätzlicher Bedeutung aufwerfen und in bezug auf Tatfragen liquid sind (vgl. auch Urteil U 347/98 vom 10. Oktober 2001). Dass darunter auch Fälle verstanden werden, bei denen sich die (umstrittene) Frage der Beweistauglichkeit eines Gutachtens stellt, hielte einer freien Überprüfung wohl kaum stand. Als geradezu unhaltbar kann sie indessen nicht betrachtet werden. Die mithin als vertretbar zu betrachtende Auslegung des kantonalen Prozessrechts ist mit den genannten Garantien der Art. 30 Abs. 1 BV und Art. 6 Ziff. 1 EMRK ebenfalls vereinbar, geben doch diese Garantien nicht Anspruch auf Beurteilung durch ein Kollegialgericht.
4. 4.1 Nach Art. 30 Abs. 1 BV und Art. 6 Ziff. 1 EMRK hat jede Person Anspruch darauf, dass ihre Sache von einem unbefangenen, unvoreingenommenen und unparteiischen Richter beurteilt wird. Es soll garantiert werden, dass keine sachfremden Umstände, welche ausserhalb des Prozesses liegen, in sachwidriger Weise zugunsten oder zulasten einer Partei auf das gerichtliche Urteil einwirken. Art. 30 Abs. 1 BV soll zu der für einen korrekten und fairen Prozess erforderlichen Offenheit des Verfahrens im Einzelfall beitragen und damit ein gerechtes Urteil ermöglichen. Die Garantie des verfassungsmässigen Richters wird verletzt, wenn bei objektiver Betrachtung Gegebenheiten vorliegen, die den Anschein der Befangenheit oder die Gefahr der Voreingenommenheit zu begründen vermögen (BGE 114 Ia 50 E. 3b und 3c S. 53 ff., 134 I 20 E. 4.2 S. 21, 131 I 24 E. 1.1 S. 25, 131 I 113 E. 3.4 S. 116, mit Hinweisen).
Nach der Rechtsprechung sind die Garantien von Art. 30 Abs. 1 BV und Art. 6 Ziff. 1 EMRK auch auf die Gerichtsschreiberinnen und Gerichtsschreiber einer richterlichen Behörde anwendbar, sofern sie - wie dies für den Kt. St. Gallen zutrifft (Art. 67 Abs. 1 lit. b des Gerichtsgesetzes des Kantons St. Gallen vom 2. April 1987; sGS 941.1) - an der Willensbildung des Spruchkörpers mitwirken. Dies ist der Fall, wenn sie im Hinblick auf ihre Redaktionstätigkeit an der Beratung teilnehmen und ihre Auffassung äussern können, weil sie so, auch wenn sie nicht stimmberechtigt sind, unter Umständen auf den Entscheid des Gerichts Einfluss nehmen können (BGE 124 I 255, 119 V 309 E. 4c S. 317, 119 Ia 84, 115 Ia 224 E. 7 mit Hinweisen S. 227; SVR 2001 UV Nr. 11 S. 41).
4.2 Eine Befangenheit liegt vor, wenn Umstände dargetan sind, die bei objektiver Betrachtung geeignet erscheinen, Misstrauen in die Unparteilichkeit eines Richters zu erwecken (BGE 133 I 1 E. 5.2 und 6.2, 131 I 113 E. 3.4 S. 116, 24 E. 1.1 S. 25). Solche Hinweise können in einem bestimmten Verhalten oder in gewissen äusseren Gegebenheiten funktioneller und organisatorischen Natur begründet liegen. Nicht entscheidend ist das subjektive Empfinden der Parteien (BGE 131 I 24 E. 1.1 S. 25, mit Hinweisen); das Misstrauen in die Unbefangenheit muss in objektiver Weise gerechtfertigt erscheinen. Der Richter hat nicht tatsächlich befangen zu sein; es genügt, wenn hinreichende Anhaltspunkte hierfür sprechen (BGE 128 V 82 E. 2a; 124 I 121 E. 3a, je mit weiteren Hinweisen). Da die Ausstandsregelung in einem gewissen Spannungsverhältnis zum Anspruch auf den gesetzlichen Richter steht, muss sie eine Ausnahme bleiben, soll die Zuständigkeitsordnung nicht ausgehöhlt werden. Die persönliche Unbefangenheit des gesetzlichen Richters ist deshalb im Grundsatz zu vermuten (vgl. BGE 114 Ia 50 E.3b S. 55); von der regelhaften Zuständigkeitsordnung darf nicht leichthin abgewichen werden (Urteil 1P.711/2004 vom 17. März 2005, E. 3.1, publ. in: ZBl 107/2006 S. 393 ff.; Urteil 2C_171/2007 vom 19. Oktober 2007, E. 5.1).
4.3 Die gleichzeitige Ausübung einer teilamtlichen Richter- und einer Anwaltstätigkeit ist mit Blick auf die Garantie der richterlichen Unabhängigkeit und Unparteilichkeit nicht an sich problematisch; es darf praxisgemäss davon ausgegangen werden, dass ein Richter im Teilamt regelmässig zwischen seiner amtlichen Funktion und seiner privaten beruflichen Tätigkeit zu unterscheiden vermag (BGE 133 I 1 E. 6.4.2; 124 I 121 E. 3b S. 124). Ob die richterliche Unabhängigkeit und Unparteilichkeit beeinträchtigt erscheint, ist indessen jeweils zusätzlich aufgrund der Umstände des Einzelfalles zu prüfen: So hat das Bundesgericht erkannt, dass ein Anwalt nicht als nebenamtlicher Richter in einem Fall tätig sein darf, wenn er zu einer Partei in einem noch offenen Mandatsverhältnis steht oder aufgrund mehrfacher Mandate eine Art Dauerbeziehung zu dieser pflegt (BGE 116 Ia 485 E. 3b S. 489). Ebenso hat es das Bundesgericht als unzulässig bezeichnet, dass ein Anwalt als Richter in einer Sache tätig wird, die für ein gleichgelagertes Verfahren, in dem er eine Partei vertritt, eine erhebliche präjudizielle Bedeutung haben kann (vgl. BGE 124 I 121 E. 3; 128 V 82 E. 2). Ein einzelnes abgeschlossenes Mandat schliesst eine nebenamtliche Richtertätigkeit hingegen nicht aus (BGE 116 Ia 485 E. 3b S. 489). Auch darf ein früher für eine Mietervereinigung tätiger Anwalt in einem Mietgericht als Richter in Fällen mitwirken, in denen die Mietervereinigung, für die er tätig war, eine der Parteien vertritt (vgl. BGE 124 I 121 E. 3a in fine).
4.3 Die gleichzeitige Ausübung einer teilamtlichen Richter- und einer Anwaltstätigkeit ist mit Blick auf die Garantie der richterlichen Unabhängigkeit und Unparteilichkeit nicht an sich problematisch; es darf praxisgemäss davon ausgegangen werden, dass ein Richter im Teilamt regelmässig zwischen seiner amtlichen Funktion und seiner privaten beruflichen Tätigkeit zu unterscheiden vermag (BGE 133 I 1 E. 6.4.2; 124 I 121 E. 3b S. 124). Ob die richterliche Unabhängigkeit und Unparteilichkeit beeinträchtigt erscheint, ist indessen jeweils zusätzlich aufgrund der Umstände des Einzelfalles zu prüfen: So hat das Bundesgericht erkannt, dass ein Anwalt nicht als nebenamtlicher Richter in einem Fall tätig sein darf, wenn er zu einer Partei in einem noch offenen Mandatsverhältnis steht oder aufgrund mehrfacher Mandate eine Art Dauerbeziehung zu dieser pflegt (BGE 116 Ia 485 E. 3b S. 489). Ebenso hat es das Bundesgericht als unzulässig bezeichnet, dass ein Anwalt als Richter in einer Sache tätig wird, die für ein gleichgelagertes Verfahren, in dem er eine Partei vertritt, eine erhebliche präjudizielle Bedeutung haben kann (vgl. BGE 124 I 121 E. 3; 128 V 82 E. 2). Ein einzelnes abgeschlossenes Mandat schliesst eine nebenamtliche Richtertätigkeit hingegen nicht aus (BGE 116 Ia 485 E. 3b S. 489). Auch darf ein früher für eine Mietervereinigung tätiger Anwalt in einem Mietgericht als Richter in Fällen mitwirken, in denen die Mietervereinigung, für die er tätig war, eine der Parteien vertritt (vgl. BGE 124 I 121 E. 3a in fine).
4.4 4.4.1 Die Beschwerde führende IV-Stelle erachtet den am vorinstanzlichen Entscheid mitwirkenden Gerichtsschreiber X._ als befangen. Er sei bis vor kurzem als selbstständiger Anwalt tätig gewesen und habe unter anderem davon gelebt, gegen die IV zu prozessieren. Im 1. Quartal dieses Jahres, vermutlich per 1. März 2008, habe er die Stelle bei der Vorinstanz angetreten. Es lägen gegenwärtig drei von X._ verfasste IV-Urteile in Rentensachen vor, die mit vergleichbarer Begründung die Verfügungen der IV-Stelle aufheben würden, und die den Anschein der Befangenheit erwecken würden. X._ sei in IV-Sachen befangen, dies insbesondere dann, wenn es um die Würdigung von Gutachten des Instituts Y._ gehe. Seit Herbst 2006 würde das Institut Y._ in den Medien, namentlich im Kassensturz, bekanntlich unter heftigen Beschuss genommen. Immer wieder hätten Versichertenvertreter die in der Öffentlichkeit kolportierten Bemängelungen aufgegriffen, um "ungünstige" Abklärungsergebnisse in Frage zu stellen. Obwohl das kantonale Gericht die Beweiskraft der Gutachten des Instituts Y._bejaht habe, habe X._ in seinen Rechtsschriften bis zuletzt auf seiner Auffassung insistiert, nach der die genannten Gutachten grundsätzlich nicht zum Beweis zuzulassen seien. In den drei ans Bundesgericht weitergezogenen Entscheide, in denen X._ als Gerichtsschreiber geamtet habe, springe ins Auge, dass in allen drei Fällen dem Gutachten des Instituts Y._ die Beweiskraft abgesprochen worden sei und die Sache zur ergänzenden Abklärung an die IV-Stelle zurückgewiesen worden sei. Dabei sei zwar nicht der Standpunkt vertreten worden, die Gutachten seien grundsätzlich nicht zu verwerten. Aber die Gutachten würden mit auffallender Strenge geprüft, und es sei mit einseitigen Begründungen ein klares Beweisergebnis umgestossen worden. Es sei offensichtlich, dass die Gutachten des Instituts Y._ unter der Federführung von X._ zwar mit anderer Begründung, aber doch grundsätzlich nicht mehr zum Beweis zugelassen werden sollen. Zusammenfassend zeige es sich, dass X._ auf Grund seiner bis unmittelbar vor Stellenantritt bei der Vorinstanz innegehabten Stellung und der dabei vertretenen Auffassungen, aber auch auf Grund der in der Entscheidbegründung vertretenen Argumentation den Anschein der Befangenheit erwecke. Damit sei erstellt, dass die Vorinstanz Bundesrecht (Art. 30 BV) nach Art. 95 lit. a BGG verletzt habe.
4.4.2 Das kantonale Gericht bringt in tatsächlicher Hinsicht vor, X._ sei nie als selbstständiger Anwalt tätig gewesen, sondern während rund 1 1/3 Jahren (vom November 2006 bis Ende März 2008) bei einer Rechtsanwaltskanzlei angestellt gewesen. Seit 1. März 2008 sei er zunächst zu 50 % und seit 1. April 2008 zu 80 % beim Versicherungsgericht als Gerichtsschreiber beschäftigt. Daneben arbeite er an seiner Dissertation im Bereich der Unfallversicherung. Er sei somit seit 1. April 2008 nicht mehr als Anwalt tätig, weder in selbstständiger noch in angestellter Funktion. Es verhalte sich hier nicht anders als bei einem weiteren Gerichtsschreiber, der vor seiner Tätigkeit beim Versicherungsgericht mehrere Jahre im Rechtsdienst bei der Beschwerde führenden IV-Stelle angestellt gewesen sei. Im Übrigen sei X._ als angestellter Anwalt in einem breiten Spektrum der unterschiedlichsten Rechtsgebiete tätig gewesen. Insbesondere habe er auch regelmässig die Interessen von Sozial- und Privatversicherern vertreten.
4.4.3 Aus diesen tatsächlichen Ausführungen des kantonalen Gerichts in der Vernehmlassung, auf welche abzustellen ist, geht hervor, dass X._ nur kurze Zeit als Rechtsanwalt im Angestelltenverhältnis tätig war und diese Tätigkeit seit der Aufnahme der Arbeit als Gerichtsschreiber bei der Vorinstanz nicht mehr versieht. Namentlich bestehen keine Anhaltspunkte, dass er nach wie vor laufende Mandate, insbesondere gegen die Invalidenversicherung führt. Dass ein Rechtsanwalt zuweilen pointiert die Interessen seiner Klientschaft vertreten hatte, lässt ihn in einer späteren Tätigkeit am Gericht nicht als befangen erscheinen. Im vorliegenden Fall kommt hinzu, dass die Anwaltstätigkeit lediglich knapp 1 1/3 Jahre gedauert hat. Damit ist objektiv kein Anschein der Befangenheit ersichtlich. Eine solche Befangenheit ergibt sich auch nicht aus der Begründung des angefochtenen Entscheides und der beiden andern angeführten vorinstanzlichen Entscheide. Das kantonale Gericht begründet einlässlich und in objektiver Weise, weshalb auf das Gutachten des Instituts Y._ vom 11. Dezember 2006 nicht abgestellt werden kann. Eine Befangenheit oder Voreingenommenheit des Gerichtsschreibers ist daher zu verneinen.
5. Als unterliegende Partei hat die IV-Stelle die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG) und überdies die Beschwerdegegnerin zu entschädigen (Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt.
3. Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 1500.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen, der GastroSocial Ausgleichskasse und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 30. Oktober 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Nussbaumer