Sachverhalt:
A. Die 1957 geborene N._ war seit 2001 für die Firma I._ AG im Teilpensum als Reinigerin tätig. Der letzte effektive Arbeitstag war der 11. Juli 2007. Unter Angabe von Depressionen und Arthrose meldete sie sich am 3. September 2008 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich klärte die medizinischen und wirtschaftlichen Verhältnisse ab. In diesem Rahmen teilte sie N._ mit Schreiben vom 18. Februar 2009 mit, infolge der unklaren medizinischen Situation könnten berufliche Eingliederungsmassnahmen zurzeit nicht durchgeführt werden. Sie beauftragte das Institut X._ mit der Erstattung eines bidisziplinären rheumatologisch/psychiatrischen Gutachtens (vom 1. Oktober 2009) und liess einen Haushaltsabklärungsbericht erstellen (vom 11. Dezember 2009). Mit Vorbescheid vom 4. Januar 2010 und Verfügung vom 6. Mai 2010 lehnte die IV-Stelle einen Rentenanspruch ab, da der notwendige Invaliditätsgrad nicht erreicht sei. Mit Verfügung vom 26. Mai 2010 wies sie zudem ein Gesuch um unentgeltliche Rechtsvertretung im Verwaltungsverfahren ab.
B. N._ liess gegen die Verfügungen Beschwerde einreichen. Das Sozialversicherungsgericht des Kantons Zürich vereinigte die Verfahren. Die Beschwerde betreffend Invalidenrente wies es ab. Es gewährte N._ die unentgeltliche Prozessführung und verpflichtete die IV-Stelle, Rechtsanwältin F._ für das Gerichtsverfahren eine Prozessentschädigung von Fr. 1'200.- zu bezahlen; zudem entschädigte es die Anwältin aus der Gerichtskasse mit Fr. 1'200.-. Die Beschwerde zur Frage der unentgeltlichen Rechtsvertretung im Verwaltungsverfahren hiess das Sozialversicherungsgericht gut; es verpflichtete die IV-Stelle, der Rechtsanwältin eine Entschädigung von Fr. 2'400.- zu bezahlen (Entscheid vom 18. Juli 2011).
C. C.a Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt N._ (nachfolgend: Beschwerdeführerin 1) beantragen, es sei ihr unter Aufhebung des vorinstanzlichen Entscheides rückwirkend eine Invalidenrente zuzusprechen; die Sache sei zur Anordnung eines psychiatrischen Obergutachtens an das kantonale Gericht zurückzuweisen oder ein solches sei durch das Bundesgericht zu veranlassen; in rheumatologischer Hinsicht sei die Angelegenheit zur Evaluation der funktionellen Leistungsfähigkeit (EFL) und Feststellung der Arbeitsfähigkeit in einem leidensangepassten Bereich zurückzuweisen; der Fall sei zur Abklärung der Voraussetzungen zur Durchführung von beruflichen Eingliederungsmassnahmen zurückzuweisen; ferner ersucht N._ um Bewilligung der unentgeltlichen Rechtspflege.
C.b Rechtsanwältin F._ (nachfolgend: Beschwerdeführerin 2) erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt, es sei ihr für das Verfahren vor der Vorinstanz und dem Bundesgericht ein angemessenes Honorar zuzusprechen.
Erwägungen:
1. 1.1 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
1.2 Die in diesem Verfahren eingereichten Berichte der Dres. med. S._, Spezialarzt FMH Psychiatrie Psychotherapie vom 5. Oktober 2011 (Aktengutachten) und S._, Facharzt FMH für Psychiatrie und Psychotherapie vom 13. Januar 2012 (behandelnder Arzt) haben aufgrund des Novenverbots (Art. 99 Abs. 1 BGG) sowie der Bindung des Bundesgerichts an den vorinstanzlich festgestellten Sachverhalt (Art. 105 Abs. 1 BGG) und der Beschränkung der Prüfung in tatsächlicher Hinsicht auf die in Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG festgelegten Beschwerdegründe unbeachtet zu bleiben (Urteil 9C_126/2011 vom 8. Juli 2011 E. 4.3 mit Hinweis).
2. Streitig und zuerst zu prüfen ist, ob die Beschwerdeführerin 1 Anspruch auf eine Invalidenrente hat. Das kantonale Gericht hat die Bestimmungen und Grundsätze über den Invaliditätsbegriff (Art. 8 ATSG), die Voraussetzungen und den Umfang des Rentenanspruchs nach Massgabe des Invaliditätsgrades (Art. 28 Abs. 2 IVG), über die Festsetzung des Invaliditätsgrades nach der Einkommensvergleichsmethode (Art. 16 ATSG, Art. 28a Abs. 1 IVG) und der gemischten Methode (Art. 28a Abs. 2 und 3 IVG; BGE 130 V 393 E. 3.3 S. 395 f., s.a. BGE 134 V 9) richtig wiedergegeben; dies gilt ebenso für die Ausführungen zum Beweiswert von medizinischen Berichten und Gutachten (BGE 125 V 351 E. 3 S. 352 ff.).
3. Gestützt auf das Gutachten des Instituts X._ vom 1. Oktober 2009 stellte das kantonale Gericht fest, die Beschwerdeführerin 1 sei in einer leidensangepassten Erwerbstätigkeit zu 50 % arbeitsfähig. Im Haushalt ging es aufgrund des Abklärungsberichts vom 11. Dezember 2009 von einer Einschränkung von 26 % aus. Bei Anteilen von je 50 % am Gesamtpensum für Erwerbstätigkeit und Haushalt resultierte so ein Invaliditätsgrad von 14 % (1 % bei Erwerbstätigkeit und 13 % im Haushalt). Die Beschwerdeführerin 1 bringt vor, es sei mindestenseine 65%ige Erwerbstätigkeit zu berücksichtigen.
3.1 Die von der Vorinstanz auf eine Würdigung konkreter Umstände gestützte Festsetzung des hypothetischen Umfanges der Erwerbstätigkeit ist eine für das Bundesgericht verbindlich beantwortete Tatfrage, die nur eingeschränkt überprüft werden kann (vorne E. 1). Eine frei zu entscheidende Rechtsfrage läge nur vor, wenn die Festlegung des Beschäftigungsanteils (von hier 50 %) ausschliesslich gestützt auf die allgemeine Lebenserfahrung erfolgt wäre (Urteil 9C_39/2010 vom 25. März 2010 E. 3.2 mit Hinweisen), was nicht der Fall war. Die vorinstanzliche Feststellung, das in den Jahren 2004 und 2005 erzielte Einkommen belege, dass die Beschwerdeführerin 1 zu 50 % erwerbstätig gewesen sei, ist weder offensichtlich unrichtig noch rechtswidrig (Art. 105 Abs. 2 BGG). Nach Auskunft der Firma I._ AG vom 29. März 2010 betrug das Arbeitspensum im Jahr 2005 50 %. Die Versicherte hat zudem angegeben, sie habe vor der Erkrankung "gut 11 Stunden" für dieses Unternehmen gearbeitet (Bericht Haushaltsabklärung vom 11. Dezember 2009, Ziff. 2.4). Sie hat somit eher weniger als 50 % gearbeitet. Dass, wie in der Beschwerde angetönt, die Arbeitgeberin allenfalls gegenüber der Krankentaggeldversicherung ein höheres Arbeitspensum der Versicherten angegeben haben könnte, ist hier nicht von Relevanz.
3.2 Die sonstigen Vorbringen in der Beschwerde erschöpfen sich in einer weitgehend appellatorischen Kritik an der vorinstanzlichen Beweiswürdigung, was im Rahmen der geltenden Überprüfungsbefugnis des Bundesgerichts (vorne E. 1.1) und des Novenverbots (E. 1.2) nicht zulässig ist. Es bleibt zu den gestellten Anträgen und damit verknüpften Vorbringen Folgendes festzuhalten:
3.2.1 Dass eine Evaluation der funktionellen Leistungsfähigkeit (EFL) empfehlenswert sein könnte und aufschlussreich wäre, begründet nicht ihre Notwendigkeit zur Ermittlung einer geeigneten Beschäftigung. Das Leistungsprofil für eine passende und zumutbare Verweisungstätigkeit der ungelernten Versicherten ist mit der Umschreibung "50 % arbeitsfähig für eine leidensangepasste Tätigkeit mit geringer Laufbelastung und Einhalten von Arbeitspausen" im Gutachten (S. 17) des Instituts X._ ausreichend klar umschrieben.
3.2.2 Für einen Entscheid über berufliche Eingliederungsmassnahmen fehlt es am Anfechtungsobjekt.
3.2.3 Was die von Dr. med. S._, Facharzt FMH für Psychiatrie und Psychotherapie, ein halbes Jahr nach Verfügungserlass vorinstanzlich postulierte posttraumatische Belastungsstörung betrifft (Bericht vom 9. November 2010), ergeben sich dafür aus den Akten keine Anzeichen oder Hinweise. Weder der vorher behandelnde Arzt Dr. med. A._, Facharzt FMH für Psychiatrie und Psychotherapie, (Bericht vom 2. März 2010), noch die Gutachterin des Instituts X._Dr. med. M._, noch die Ärzte des Zentrums H._ (Berichte vom 13. Februar 2008 und 10. Februar 2009) haben eine solche angesprochen. Für die von Dr. med. S._ diagnostizierte schwere depressive Episode (ICD-10 F32.2) findet sich in den genannten Stellungnahmen keine Entsprechung: Dr. med. A._ diagnostizierte eine leichte depressive Episode und attestierte das Fehlen einer psychotischen Störung. Frau Dr. med. M._ nannte eine länger dauernde Anpassungsstörung mit Beeinträchtigung verschiedener affektiver Qualitäten, jedoch ohne Auswirkung auf die Arbeitsfähigkeit.
3.2.4 Die Forderung nach einer Parallelisierung des Valideneinkommens ist unbegründet. Massgebend ist nicht ein in der Beschwerde genannter Stundenlohn von Fr. 18.45. Dieser ist um die vertraglich vereinbarte Ferien- und Feiertagsentschädigung von 9,53 % zu ergänzen, was einen Stundenansatz von Fr. 20.21 ergibt. Hinzu kommt die vorgesehene Vergütung eines halben 13. Monatslohns (Fr. 20.21 : 12 : 2 = Fr. 0.84 pro Stunde), was zu einem Brutto-Stundenlohn von Fr. 21.05 führt. Dieser bewegt sich im marktüblichen Rahmen, denn gemäss der Lohnstrukturerhebung (LSE) 2008 des Bundesamtes für Statistik betrug der durchschnittliche Bruttolohn einer Frau bei einfachen und repetitiven Tätigkeiten im Wirtschaftszweig "sonstige Dienstleistungen" pro Monat Fr. 3'911.-. Umgerechnet auf einen Stundenlohn ergibt sich ein Zentralwert von Fr. 22.58 (= Fr. 3'911 : 4,33 [Wochen] : 40 [Stunden]). Der vereinbarte Lohn von Fr. 21.05 lag somit innerhalb einer normalen Schwankungsbreite.
3.2.5 Wie die Vorinstanz richtig erwogen hat, würde selbst bei einem maximalen leidensbedingten Abzug von 25 % kein Rentenanspruch bestehen.
3.2.6 Die Rüge, die rheumatischen Einschränkungen im Haushalt seien nicht ausreichend berücksichtigt, ist nicht stichhaltig: Im Abklärungsbericht ist die Einschränkung bei der Wohnungspflege auf 70 % festgesetzt, im Bereich Ernährung auf 30 %. In anderen Bereichen war die Leistung nicht eingeschränkt oder es waren im Rahmen der Verpflichtung zur Schadenminderung die zumutbaren Massnahmen getroffen worden.
3.2.7 Es besteht kein Anlass, ergänzende Berichte oder Gutachten einzuverlangen um dann einen Schriftenwechsel durchzuführen (Rechtsbegehren 6). Das bundesgerichtliche Verfahren ist von Gesetzes wegen auch nicht darauf angelegt (vgl. Art. 102 Abs. 3, 105 Abs. 1 und 2 und 106 Abs. 1 BGG).
4. Hinsichtlich des Rentenanspruchs ist die Beschwerde unbegründet und abzuweisen.
5. Zu prüfen bleibt die Rüge der fehlenden "Angemessenheit" des der Rechtsvertreterin vorinstanzlich zugesprochenen Honorars.
Zur Begründung verweist die Beschwerdeführerin 2 auf die der Vorinstanz eingereichte Kostennote vom 6. Dezember 2010 über einen aufgelaufenen Betrag von Fr. 11'575.00. Erneut führt sie dazu einzig an, die Angelegenheit sei komplex und verursache einen grossen Bearbeitungsaufwand. Die Vorinstanz hat erwogen, dass der fakturierte Einsatz weder der Bedeutung der Streitsache noch der Schwierigkeit des Prozesses angemessen war, sondern als deutlich überzogen und nur teilweise vergütungsfähig zu taxieren ist.
Im Bereich der nach kantonalem Recht zuzusprechenden und zu bemessenden Parteientschädigung bzw. Entschädigung des unentgeltlichen Rechtsbeistandes fällt praktisch nur das Willkürverbot (Art. 9 BV) in Betracht (Urteil 8C_514/2010 vom 21. Juli 2010 E. 4.1). Dem erstinstanzlichen Gericht ist bei der Bemessung der Entschädigung praxisgemäss ein weiter Ermessensspielraum einzuräumen (vgl. die Zusammenfassung der Rechtsprechung in SVR 2000 IV Nr. 11 S. 31 E. 2b [I 308/98]; Urteil 8C_514/2010 vom 21. Juli 2010 E. 4.3).
Eine willkürliche Anwendung kantonalen Rechts ist sowenig geltend gemacht wie eine unhaltbare Einschätzung, sodass mangels genügender Begründung auf diesen Antrag der Beschwerde nicht einzutreten ist (Art. 42 Abs. 2 BGG).
Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten den unterliegenden Beschwerdeführerinnen aufzuerlegen (Art. 66 Abs. 1 BGG). Dem Gesuch der Beschwerdeführerin 1 um unentgeltliche Rechtspflege kann stattgegeben werden (Art. 64 Abs. 1 und 2 BGG). Sie ist jedoch auf Art. 64 Abs. 4 BGG hinzuweisen. Nach dieser Bestimmung hat die Partei der Gerichtskasse Ersatz zu leisten, wenn sie später dazu in der Lage ist.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde betreffend Invalidenrente wird abgewiesen.
2. Der Beschwerdeführerin 1 wird die unentgeltliche Rechtspflege gewährt.
3. Der Beschwerdeführerin 1 werden Gerichtskosten von Fr. 500.- auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Rechtsanwältin F._ wird als unentgeltliche Anwältin der Beschwerdeführerin 1 bestellt, und es wird ihr für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5. Auf die Beschwerde betreffend Vertretungshonorar wird nicht eingetreten.
6. Der Beschwerdeführerin 2 werden Gerichtskosten von Fr. 500.-auferlegt.
7. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 3. Mai 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Schmutz