Sachverhalt:
A. O._, geboren 1967, meldete sich am 4. April 2005 unter Hinweis auf dauernde Rückenschmerzen (Halswirbel-Kreuz) bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Zug holte einen Bericht des behandelnden Arztes Dr. med. H._ ein und klärte die erwerbliche Situation ab. Mit Verfügung vom 23. August 2005 lehnte sie den Anspruch auf eine Invalidenrente ab mit der Begründung, dass der Versicherten die angestammte Tätigkeit als Coiffeuse trotz der diagnostizierten Fibromyalgie weiterhin zumutbar sei. An dieser Auffassung hielt sie auch auf Einsprache hin und nach Einholung eines psychiatrischen Gutachtens des Instituts Y._ vom 22. März 2007 fest (Einspracheentscheid vom 20. September 2007).
B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zug mit Entscheid vom 26. März 2009 ab.
C. O._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es sei ein neutrales psychiatrisches Gutachten anzuordnen und es seien ihr berufliche Massnahmen, eventualiter eine Rente zuzusprechen. Des Weiteren ersucht sie um Gewährung der unentgeltlichen Rechtspflege.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.
Erwägungen:
1. 1.1 Der angefochtene Entscheid betrifft Leistungen der Invalidenversicherung. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann daher gemäss Art. 95 und 96 BGG nur wegen Rechtsverletzung erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Die Feststellung des Sachverhaltes durch die Vorinstanz kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG).
1.2 Gemäss Art. 42 Abs. 1 BGG ist die Beschwerde hinreichend zu begründen, andernfalls wird darauf nicht eingetreten (Art. 108 Abs. 1 lit. b BGG). Das Bundesgericht prüft grundsätzlich nur die geltend gemachten Rügen; es ist nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu prüfen, wenn diese vor Bundesgericht nicht mehr vorgetragen wurden.
1.3 Im Rahmen der Invaliditätsbemessung - insbesondere bei der Ermittlung von Gesundheitsschaden sowie Arbeitsfähigkeit und Zumutbarkeitsprofil - sind zwecks Abgrenzung der (für das Bundesgericht grundsätzlich verbindlichen) Tatsachenfeststellungen vom (letztinstanzlich frei überprüfbaren) Rechtsanwendungsakt der Vorinstanz weiterhin die kognitionsrechtlichen Grundsätze heranzuziehen, wie sie in BGE 132 V 393 E. 3 S. 397 ff. für die ab 1. Juli bis 31. Dezember 2006 gültig gewesene Fassung von Art. 132 des nunmehr aufgehobenen OG entwickelt wurden (vgl. ferner Urteil 8C_652/2008 vom 8. Mai 2009 E. 4, nicht publ. in: BGE 135 V 297).
Die Feststellung des Gesundheitsschadens, d.h. die Befunderhebung, die gestützt darauf gestellte Diagnose, die ärztliche Stellungnahme zu dem noch vorhandenen Leistungsvermögen oder (bei psychischen Gesundheitsschäden) zur Verfügbarkeit von Ressourcen der versicherten Person sowie die aufgrund der medizinischen Untersuchungen gerichtlich festgestellte Arbeits(un)fähigkeit betreffen Tatfragen (BGE 132 V 393 E. 3.2 S. 398), welche sich nach der dargelegten Regelung der Kognition (E. 1.1) einer Überprüfung durch das Bundesgericht weitgehend entziehen.
Für die Beurteilung, ob eine anhaltende somatoforme Schmerzstörung - oder ein sonstiger vergleichbarer pathogenetisch (ätiologisch) unklarer syndromaler Zustand (BGE 132 V 393 E. 3.2 S. 399; zur Fibromyalgie: BGE 132 V 65) - mit invalidisierender Wirkung vorliegt, gilt Folgendes: Zu den vom Bundesgericht nur eingeschränkt überprüfbaren Tatsachenfeststellungen zählt zunächst, ob eine anhaltende somatoforme Schmerzstörung vorliegt, und bejahendenfalls sodann, ob eine psychische Komorbidität oder weitere Umstände gegeben sind, welche die Schmerzbewältigung behindern. Als Rechtsfrage frei überprüfbar ist, ob eine festgestellte psychische Komorbidität hinreichend erheblich ist und ob einzelne oder mehrere der festgestellten weiteren Kriterien in genügender Intensität und Konstanz vorliegen, um gesamthaft den Schluss auf eine nicht mit zumutbarer Willensanstrengung überwindbare Schmerzstörung und somit auf eine invalidisierende Gesundheitsschädigung zu gestatten (SVR 2008 IV Nr. 23 S. 71, I 683/06 E. 2.2).
1.4 Ob bei einer gegebenen Sachlage auf die Voreingenommenheit des Gutachters zu schliessen ist, stellt eine Rechtsfrage dar, welche vom Bundesgericht mit voller Kognition geprüft wird (Art. 95 BGG; Urteil 8C_802/2007 vom 5. Mai 2008 E. 4 i.f.).
2. Die beim Bundesgericht von der IV-Stelle eingereichten Akten sind nummeriert. Auf die diesbezügliche Rüge der Beschwerdeführerin ist daher nicht weiter einzugehen.
3. Streitig und zu prüfen ist, ob die Vorinstanz den Einspracheentscheid vom 20. September 2007 zu Recht bestätigt hat, mit welchem die IV-Stelle den Anspruch auf eine Invalidenrente mangels Invalidität abgewiesen hat. Keiner Beurteilung bedarf letztinstanzlich der Antrag auf Zusprechung beruflicher Massnahmen, da es diesbezüglich an einer entsprechenden Begründung fehlt (vgl. E. 1.2 hievor).
4. 4.1 Mit der Beschwerde wird zunächst die Befangenheit des psychiatrischen Gutachters Dr. med. X._ geltend gemacht. Seine religiösen Überzeugungen, welche er in einem Artikel in der Langenthaler Zeitung vom 2. März 2002 geäussert habe, würden erhebliche Zweifel an seiner fachlichen Befähigung erwecken.
4.2 Einwendungen gegen Sachverständige sind in Form einer selbstständig anfechtbaren Zwischenverfügung zu behandeln, sofern gesetzliche Ausstandsgründe geltend gemacht werden. Geht es hingegen wie hier um Rügen, welche über die gesetzlichen Ausstandsgründe hinausgehen, ist diesen im Rahmen der Beweiswürdigung Rechnung zu tragen (BGE 132 V 93 E. 6.5 S. 108 f.).
4.3 Das Bundesgericht hat sich in Urteil 8C_474/2009 vom 7. Januar 2010 einlässlich sowohl zur Befangenheit im Sinne eines gesetzlichen Ausstandsgrundes als auch zu den fachlichen Bedenken mit Bezug auf die Person des Dr. med. X._ geäussert (vgl. zu den formellen und materiellen Einwendungen BGE 132 V 93 E. 6.5 S. 108 f.).
4.3.1 Das Bundesgericht hat in jenem Entscheid unter Zugrundelegung der sinngemäss anwendbaren Rechtsprechung zu Art. 30 Abs. 1 BV und Art. 6 Ziff. 1 EMRK erkannt, dass eine Befangenheit allein wegen des Umstandes der Nähe des Gutachters zu einer religiösen Gemeinschaft ohne Anhaltspunkte dafür, dass dieses sachfremde Kriterium die Objektivität seiner Einschätzung in Frage stellen könnte, nicht anzunehmen ist (E. 7).
4.3.2 Des Weiteren ist nach dem genannten Urteil entscheidwesentlich, dass die verfügbaren medizinischen Unterlagen eine zuverlässige Beurteilung des streitigen Rechtsanspruches gestatten müssen, wobei auf die Rechtsprechung zum Beweiswert eines Arztberichtes (BGE 125 V 351 E. 3a S. 352) hinzuweisen ist. Zwar ist es Aufgabe des Arztes, den Gesundheitszustand zu beurteilen (BGE 125 V 256 E. 4 S. 261 f.); er hat die Abklärungen einzig und allein nach bestem ärztlichem Wissen und Gewissen vorzunehmen (vgl. BGE 123 V 475 E. 4b S. 178 zu den Medizinischen Abklärungsstellen MEDAS), und sein Bericht ist sachlich und neutral abzufassen (Urteil I 29/04 vom 17. August 2004 E. 2.2). Letztlich ist es aber Sache des Gerichts, die Arbeits(un)fähigkeit der versicherten Person festzustellen (E. 8).
Das Bundesgericht hat festgehalten, dass alleine die Zugehörigkeit des Dr. med. X._ zur Vineyard-Bewegung grundsätzlich keinen Zweifel an seiner fachlichen Kompetenz zulasse. Dabei war, wie auch hier, nicht bestritten, dass Dr. med. X._, Psychiatrie und Psychotherapie FMH, über das dem Facharzttitel entsprechende Wissen verfüge. Ein spezieller Zusammenhang zwischen Glaubensansichten und dem Streitgegenstand war indessen ohnehin nicht ersichtlich, da sich der Gutachter nicht zu den Glaubensansichten, sondern zum Gesundheitszustand der Versicherten zu äussern hat. Schliesslich hat sich das Bundesgericht schon in früheren Fällen dahingehend geäussert, dass die gegen Dr. med. X._ wegen seiner Zugehörigkeit zur Vineyard-Bewegung vorgebrachten Einwände nicht auf konkrete, die Versicherten direkt betreffende Vorkommnisse Bezug nehmen und so dessen fachliche Kompetenz sowie Objektivität und Unvoreingenommenheit bei der durchgeführten Begutachtung nicht in Frage stellen. Den Zeitungsartikeln, welche sich mit ihm befassten, lasse sich nichts entnehmen, was die in jenem Fall interessierende Zuverlässigkeit des Gutachtens in Frage zu stellen vermöchte (Urteil 8C_474/2009 vom 7. Januar 2010 E. 8).
4.4 Die Beschwerdeführerin bringt im Zusammenhang mit der Rüge der Verletzung des Rechts auf ein faires Verfahren nichts vor, was im vorliegenden Fall eine andere Beurteilung rechtfertigen würde. Es bestehen auch hier keine Anhaltspunkte dafür, dass das Gutachten des Dr. med. X._ vom 22. März 2007 nicht nach bestem ärztlichem Wissen erstattet worden wäre. Insbesondere finden sich keine Hinweise dafür, dass der Gutachter Andersgläubige diskriminieren würde und sich bei der Abklärung des Gesundheitszustandes zum Nachteil der Beschwerdeführerin durch den Umstand, dass sie gläubige Muslimin sei, hätte beeinflussen lassen. So wird im Gutachten zwar ausdrücklich erwähnt, dass die Beschwerdeführerin in der Schweiz geboren und aufgewachsen sei und dass ihre Eltern heute in der Türkei lebten. Dass auch religiöse Auffassungen besprochen worden wären, lässt sich dem Gutachten nicht entnehmen und wird auch nicht geltend gemacht. Der Anschein der Befangenheit lässt sich daher auch damit nicht begründen.
5. Mit dem Argument, die Waffengleichheit sei wegen wirtschaftlicher Abhängigkeit des Gutachters von der Versicherung verletzt, hat sich das Bundesgericht bereits mehrfach ausführlich auseinandergesetzt und es stets verworfen. So hat es sich in BGE 123 V 175 einlässlich zur fachlich-inhaltlichen Weisungsunabhängigkeit der Ärzte der Medizinischen Abklärungsstellen (MEDAS) geäussert, welche auf tarifvertraglicher Grundlage medizinische Abklärungen vornehmen. In Bestätigung dieses Urteils hat es die Europäische Kommission für Menschenrechte mit Nichtzulassungsentscheid vom 20. April 1998 als mit der Bestimmung von Art. 6 Ziff. 1 EMRK über den Anspruch auf ein faires Verfahren vereinbar erachtet, dass die durch ein Gericht beauftragten Experten einer Partei untergeordnet sind (JAAC 1998 Nr. 95 S. 917). Das Bundesgericht hat sich jüngst in BGE 8C_216/2009 vom 28. Oktober 2009 (E. 4.3) erneut zum Grundsatz der Waffengleichheit geäussert und dabei auch die neuere Rechtsprechung des Europäischen Gerichtshofes für Menschenrechte berücksichtigt. Es hat erkannt, dass Art. 6 Ziff. 1 EMRK keine Vorschriften darüber enthält, welche Beweismittel im Gerichtsverfahren zulässig sind und wie die einzelnen Beweismittel zu würdigen sind. Massgebend ist, ob das Verfahren insgesamt als fair qualifiziert werden kann, wobei sich aus der Konvention ein Anspruch der versicherten Person ergibt, nicht in eine prozessuale Lage versetzt zu werden, aus der sie keine vernünftige Chance hat, ihre Sache dem Gericht zu unterbreiten ohne gegenüber den anderen Verfahrensbeteiligten klar benachteiligt zu sein.
Auf den Einwand der Verletzung der Waffengleichheit ist hier daher nicht weiter einzugehen, zumal das kantonale Gericht bei der Feststellung des Gesundheitszustandes auch die Stellungnahmen des behandelnden Arztes berücksichtigt hat.
6. Gerügt wird schliesslich die vorinstanzliche Beweiswürdigung bezüglich der Frage, ob sich die bei der Beschwerdeführerin diagnostizierte Fibromyalgie invalidisierend auswirke.
Zunächst ist der Befund der Fibromyalgie unbestritten. Des Weiteren hat das kantonale Gericht nach einlässlicher Würdigung der vorliegenden Arztberichte für das Bundesgericht verbindlich (oben E. 1.3) festgestellt, dass es an einer psychischen Komorbidität von erheblicher Schwere, Ausprägung und Dauer fehlt. Eine diesbezügliche offensichtliche Unrichtigkeit kann nicht damit begründet werden, dass es der begutachtende Psychiater unterlassen habe, nach Konflikten zu suchen. Dr. med. X._ hat nach dreieinhalbstündiger, auch testpsychologischer, Untersuchung eine akute affektive oder psychotische Erkrankung gänzlich ausgeschlossen und konnte zudem weder die anamnestisch erwähnte Persönlichkeitsauffälligkeit bestätigen (beziehungsweise den histrionischen Persönlichkeitszügen keinen Krankheitswert beimessen) noch eine posttraumatische Stressstörung diagnostizieren. An der Zuverlässigkeit und Richtigkeit dieser Einschätzung vermag auch der Umstand keine Zweifel zu erwecken, dass der behandelnde Psychiater Dr. med. I._ in seiner Stellungnahme vom 22. Mai 2007 einräumt, es sei ihm bis heute nicht gelungen, eine abschliessende Diagnose zu stellen.
Bezüglich der weiteren zu berücksichtigenden Umstände, welche die Schmerzbewältigung behindern können (vgl. BGE 130 V 352 E. 2.2.3 S. 354 f.), liegt gemäss den Feststellungen des kantonalen Gerichts einzig - hinsichtlich der Fibromyalgie - ein chronifizierter Krankheitsverlauf mit unveränderter oder progredienter Symptomatik ohne längerdauernde Rückbildung vor. Dies wird, wie auch die Feststellung der fehlenden psychischen Komorbidität, letztlich nicht bestritten beziehungsweise wird jedenfalls nichts geltend gemacht, was eine diesbezügliche offensichtliche Unrichtigkeit zu begründen vermöchte. Der Einwand, dass der Psychiater die Versicherte nur ungenügend untersucht habe, ist nicht ausreichend. So kann gestützt auf das Gutachten ein sozialer Rückzug in allen Belangen des Lebens nicht angenommen werden. Des Weiteren diskutiert der Gutachter, wie erwähnt, sowohl die Persönlichkeitsauffälligkeit wie auch allfällige belastende Konfliktsituationen, ohne indessen Besonderheiten festzustellen, die im Sinne der hier relevanten Kriterien und zufolge erheblicher Widersprüchlichkeiten gegenüber der Einschätzung des behandelnden Arztes als beachtlich bezeichnet werden müssten. Es ist in diesem Zusammenhang noch anzufügen, dass sich der Gutachter entgegen dem Einwand des behandelnden Arztes nicht ausschliesslich auf psychologische Tests stützt und zudem nicht ersichtlich ist, weshalb diese Tests im Fall der Beschwerdeführerin, welche in der Schweiz geboren und aufgewachsen ist, keine zuverlässigen Ergebnisse liefern sollten.
Da eine psychische Komorbidität nach den verbindlichen vorinstanzlichen Feststellungen fehlt und zudem nur eines der weiteren Kriterien in genügender Intensität und Konstanz vorliegt, ist die hier frei überprüfbare Rechtsfrage, ob die Überwindung der Fibromyalgie unzumutbar und damit eine invalidisierende Gesundheitsschädigung anzunehmen sei, mit dem kantonalen Gericht zu verneinen. Damit besteht kein Anspruch auf eine Invalidenrente.
7. Das Verfahren ist kostenpflichtig (Art. 65 BGG). Die Gerichtskosten werden der unterliegenden Beschwerdeführerin auferlegt (Art. 65 Abs. 4 lit. a in Verbindung mit Art. 66 Abs. 1 BGG).
Gemäss Art. 64 Abs. 1 BGG wird einer Partei die unentgeltliche Rechtspflege nur gewährt, wenn sie bedürftig ist und ihr Rechtsbegehren nicht aussichtslos erscheint. Bedürftigkeit ist gegeben, wenn die Gesuch stellende Person ohne Beeinträchtigung des für sie und ihre Familie nötigen Lebensunterhaltes nicht in der Lage ist, die Prozesskosten zu bestreiten (BGE 128 I 225 E. 2.5.1 S. 232, 127 I 202 E. 3b S. 205, 125 IV 161 E. 4a S. 164), wobei die wirtschaftlichen Verhältnisse im Zeitpunkt der Entscheidung über das Gesuch um unentgeltliche Rechtspflege massgebend sind (BGE 108 V 265 E. 4 S. 269) und bei der Beurteilung der Bedürftigkeit das Einkommen beider Ehegatten zu berücksichtigen ist (BGE 115 Ia 193 E. 3a S. 195, 108 Ia 9 E. 3 S. 10, 103 Ia 99 S. 101 mit Hinweisen). Diese Voraussetzung ist hier nicht erfüllt. Gemäss den eingereichten Unterlagen steht den Ehegatten ein Einkommen von Fr. 5'928.- zur Verfügung. Dem steht ein um 25 % erhöhter Grundbedarf des Ehepaars (Fr. 1'550.-) und der beiden 1993 und 1996 geborenen Kinder (je Fr. 500.-) von Fr. 3'187.50 gegenüber. Gemäss den Angaben im Erhebungsbogen für die unentgeltliche Rechtspflege und den eingereichten Belegen fallen Auslagen von Fr. 1'822.- für Miete an. Die Krankenkassenprämien für alle Familienmitglieder belaufen sich auf Fr. 642.30 (Fr. 262.60, 250.60, 68.90 und 60.20), wobei die Vorinstanz in ihrem Entscheid über die Gewährung der unentgeltlichen Rechtspflege vom 30. April 2008 davon ausgegangen ist, dass der Familie eine Prämienverbilligung gewährt wird, und daher einen Betrag von lediglich Fr. 292.55 berücksichtigt hat. Gemäss definitiver Steuerveranlagung vom 30. Juli 2009 sind für das Jahr 2008 Fr. 737.30 an Kantons- und Gemeindesteuern sowie Fr. 175.- direkte Bundessteuern zu bezahlen, sodass ein monatlicher Betrag von Fr. 76.- anfällt. Nachdem nicht ausgewiesen ist, dass die geltend gemachten Schulden von Fr. 40'000.- beziehungsweise die monatlich geschuldeten Raten von Fr. 886.45 regelmässig getilgt werden, sind sie nicht anzurechnen (SVR 2007 AHV Nr. 7 S. 19, H 27/05 E. 4.1.2.4). Die Ausgaben belaufen sich damit auf Fr. 5'378.05 und es verbleibt ein Überschuss von rund Fr. 550.-. Angesichts dessen ist es der Beschwerdeführerin zuzumuten, für die Gerichts- und die Anwaltskosten selbst aufzukommen, ist sie doch damit in der Lage, die Kosten des Prozesses innert Jahresfrist zu tilgen (Pra 2006 Nr. 143 S. 987, 5P.441/2005 E. 1.2).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 7. Januar 2010
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Durizzo