Sachverhalt:
A. Die 1964 geborene Z._ meldete sich im März 2006 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Schwyz klärte die gesundheitlichen und erwerblichen Verhältnisse ab. Sie liess die Versicherte u.a. rheumatologisch und psychiatrisch begutachten und holte beim Regionalen Ärztlichen Dienst (nachfolgend: RAD) eine Stellungnahme ein. Nach Durchführung des Vorbescheidverfahrens verneinte die IV-Stelle mit Verfügung vom 26. August 2008 einen Rentenanspruch.
B. Die Beschwerde der Z._ wies das Verwaltungsgericht des Kantons Schwyz nach zweifachem Schriftenwechsel mit Entscheid vom 5. März 2009 ab.
C. Z._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der Entscheid vom 5. März 2009 sei aufzuheben und ihr eine Rente bei einer Invalidität von mindestens 40 % zuzusprechen.
Erwägungen:
1. Das kantonale Gericht hat den von der IV-Stelle durch Einkommensvergleich (Art. 16 ATSG in Verbindung mit Art. 28a Abs. 1 IVG) ermittelten Invaliditätsgrad von 17 % bestätigt. Mit Bezug auf den Gesundheitszustand hat es auf die Befunde und Diagnosen im Gutachten des Instituts X._ vom 18. April 2008 mit ergänzendem Bericht vom 15. Mai 2008 abgestellt. Bei der Festsetzung der Arbeitsfähigkeit ist die Vorinstanz jedoch nicht der Beurteilung der Experten gefolgt: In somatischer Hinsicht hat sie die davon abweichende Einschätzung des RAD im Bericht vom 30. Juni 2008 übernommen. Danach ist von einer vollen Arbeitsfähigkeit in einer körperlich leichten bis mittelschweren Tätigkeit in Wechselposition, mit repetitiven Gewichten bis maximal 10 kg, ohne Zwangshaltung der Wirbelsäule in Vorneigung oder Rotation auszugehen. Sodann hat sie abweichend von der Schlussfolgerung der Gutachter eine Einschränkung der Arbeitsfähigkeit aus psychiatrischer Sicht verneint, da es der Versicherten möglich sein sollte, ihre Leistungsfähigkeit trotz des diagnostizierten Leidens mit einer zumutbaren Willensanstrengung zu verwerten.
2. In der Beschwerde wird gerügt, das kantonale Gericht habe fälschlicherweise das Gutachten des Instituts X._ vom 18. April 2008 als nicht schlüssig erachtet. Das Abstellen auf die abweichende Aktenbeurteilung des RAD im Bericht vom 30. Juni 2008 verletze den Untersuchungsgrundsatz und die Beweiswürdigungsregeln nach Art. 61 lit. c ATSG.
3. Die unvollständige Feststellung der rechtserheblichen Tatsachen sowie Nichtbeachtung des Untersuchungsgrundsatzes nach Art. 61 lit. c ATSG durch das kantonale Versicherungsgericht stellen eine Verletzung von Bundesrecht nach Art. 95 lit. a BGG dar (Urteil 9C_802/2008 vom 22. Dezember 2008 E. 1.1 mit Hinweisen). Der Verzicht der Vorinstanz auf weitere Abklärungen oder Rückweisung der Sache an die IV-Stelle zu diesem Zwecke (antizipierte Beweiswürdigung; Urteil 9C_561/2007 vom 11. März 2008 E. 5.2.1) im Besonderen verletzt etwa dann Bundesrecht, wenn der festgestellte Sachverhalt unauflösbare Widersprüche enthält oder wenn eine entscheidwesentliche Tatfrage, wie namentlich Gesundheitszustand und Arbeitsfähigkeit einer versicherten Person, auf unvollständiger Beweisgrundlage beantwortet wird (Urteile 8C_831/2008 vom 29. Mai 2009 E. 2.3 und 9C_410/2008 vom 8. September 2008 E. 3.3.1 mit Hinweisen).
Im Übrigen ist die Sachverhaltsfeststellung der Vorinstanz für das Bundesgericht verbindlich, wenn sie nicht offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG). Die konkrete Beweiswürdigung ist wie die darauf beruhende Sachverhaltsfeststellung ebenfalls nur unter diesem eingeschränkten Blickwinkel überprüfbar (Urteile 9C_801/2008 vom 6. Januar 2009 E. 2.2 und 9C_410/2008 vom 8. September 2008 E. 3.3.1). Demgegenüber ist die richtige Anwendung der Beweiswürdigungsregeln durch das kantonale Versicherungsgericht nach Art. 61 lit. c ATSG eine Rechtsfrage und als solche im Rahmen der den Parteien obliegenden Begründungs- bzw. Rügepflicht (Art. 42 Abs. 2 BGG und Art. 106 Abs. 2 BGG; BGE 133 II 249 E. 1.4.1 und 1.4.2 S. 254) frei zu prüfen (BGE 132 V 393 E. 3.2 und 4 S. 397 ff.; Urteil 9C_270/2007 vom 12. August 2008 E. 2.2).
4. 4.1 Gemäss Art. 59 Abs. 2bis IVG stehen die regionalen ärztlichen Dienste den IV-Stellen zur Beurteilung der medizinischen Voraussetzungen des Leistungsanspruchs zur Verfügung. Sie setzen die für die Invalidenversicherung nach Artikel 6 ATSG massgebende funktionelle Leistungsfähigkeit der Versicherten fest, eine zumutbare Erwerbstätigkeit oder Tätigkeit im Aufgabenbereich auszuüben. Sie sind in ihrem medizinischen Sachentscheid im Einzelfall unabhängig.
Nach Art. 49 IVV beurteilen die regionalen ärztlichen Dienste die medizinischen Voraussetzungen des Leistungsanspruchs. Die geeigneten Prüfmethoden können sie im Rahmen ihrer medizinischen Fachkompetenz und der allgemeinen fachlichen Weisungen des Bundesamtes frei wählen (Abs. 1). Die regionalen ärztlichen Dienste können bei Bedarf selber ärztliche Untersuchungen von Versicherten durchführen. Sie halten die Untersuchungsergebnisse schriftlich fest (Abs. 2).
4.2 Sinn und Zweck des im Rahmen der 5. IV-Revision (Bundesgesetz vom 6. Oktober 2006; AS 2007 5129 ff.) neu geschaffenen, seit 1. Januar 2008 in Kraft stehenden und vorliegend anwendbaren Art. 59 Abs. 2bis IVG sowie des neu gefassten Art. 49 IVV liegen darin, dass die IV-Stellen zur Beurteilung der medizinischen Anspruchsvoraussetzungen auf eigene Ärzte und Ärztinnen zurückgreifen können. Diese sollen aufgrund ihrer speziellen versicherungsmedizinischen Kenntnisse für die Bestimmung der für die Invalidenversicherung massgebenden funktionellen Leistungsfähigkeit der Versicherten verantwortlich sein. Damit soll eine konsequente Trennung der Zuständigkeiten zwischen behandelnden Ärzten (Heilbehandlung) und Sozialversicherung (Bestimmung der Auswirkungen des Gesundheitsschadens) geschaffen werden. Die RAD bezeichnen die zumutbaren Tätigkeiten und die unzumutbaren Funktionen unter Angabe einer allfälligen medizinisch begründeten zeitlichen Schonung. Damit soll im Hinblick auf eine erfolgreiche Eingliederung eine objektivere Festlegung der massgebenden funktionellen Leistungsfähigkeit der Versicherten ermöglicht werden. Gestützt auf die Angaben des RAD hat die IV-Stelle zu beurteilen, was einer versicherten Person aus objektiver Sicht noch zumutbar ist und was nicht (Botschaft vom 23. Juni 2005 zur Änderung des Bundesgesetzes über die Invalidenversicherung [5. Revision], BBl 2005 4572 zu Absatz 2 und 4577 Ziff. 2.2.1 zu Art. 7 Absatz 2; vgl. auch Protokolle der Sitzungen der nationalrätlichen und ständerätlichen Kommissionen für soziale Sicherheit und Gesundheit vom 11.-13. Januar 2006, S. 98 ff., resp. vom 29./30. Mai 2006, S. 62 f.; Beatrice Breitenmoser, Die Antworten des Gesetzgebers in der 4. und 5. IVG-Revision: Die zentralen Punkte der beiden Revisionen, in: Die 5. IVG-Revision: Kann sie die Rentenexplosion stoppen?, 2004, S. 108 f.; Ralf Kocher, Ausblick auf die 5. IV-Revision, in: Invalidität im Wandel, 2005, S. 45; Ueli Kieser, Entwicklungen im Rahmen der 5. IV-Revision, HILL 2007 Fachartikel Nr. 7, S. 5; ebenso, wenn auch rechtspolitisch kritisch, Hardy Landolt, Auswirkungen der 5. IVG-Revision auf die Schadenminderungspflicht, Personen-Schaden-Forum 2007, S. 239 ff., und Thomas Locher, Stellung und Funktion der Regionalen Ärztlichen Dienste [RAD] in der Invalidenversicherung [IV], in: Medizinische Gutachten, 2005, S. 65 f.).
4.2 Sinn und Zweck des im Rahmen der 5. IV-Revision (Bundesgesetz vom 6. Oktober 2006; AS 2007 5129 ff.) neu geschaffenen, seit 1. Januar 2008 in Kraft stehenden und vorliegend anwendbaren Art. 59 Abs. 2bis IVG sowie des neu gefassten Art. 49 IVV liegen darin, dass die IV-Stellen zur Beurteilung der medizinischen Anspruchsvoraussetzungen auf eigene Ärzte und Ärztinnen zurückgreifen können. Diese sollen aufgrund ihrer speziellen versicherungsmedizinischen Kenntnisse für die Bestimmung der für die Invalidenversicherung massgebenden funktionellen Leistungsfähigkeit der Versicherten verantwortlich sein. Damit soll eine konsequente Trennung der Zuständigkeiten zwischen behandelnden Ärzten (Heilbehandlung) und Sozialversicherung (Bestimmung der Auswirkungen des Gesundheitsschadens) geschaffen werden. Die RAD bezeichnen die zumutbaren Tätigkeiten und die unzumutbaren Funktionen unter Angabe einer allfälligen medizinisch begründeten zeitlichen Schonung. Damit soll im Hinblick auf eine erfolgreiche Eingliederung eine objektivere Festlegung der massgebenden funktionellen Leistungsfähigkeit der Versicherten ermöglicht werden. Gestützt auf die Angaben des RAD hat die IV-Stelle zu beurteilen, was einer versicherten Person aus objektiver Sicht noch zumutbar ist und was nicht (Botschaft vom 23. Juni 2005 zur Änderung des Bundesgesetzes über die Invalidenversicherung [5. Revision], BBl 2005 4572 zu Absatz 2 und 4577 Ziff. 2.2.1 zu Art. 7 Absatz 2; vgl. auch Protokolle der Sitzungen der nationalrätlichen und ständerätlichen Kommissionen für soziale Sicherheit und Gesundheit vom 11.-13. Januar 2006, S. 98 ff., resp. vom 29./30. Mai 2006, S. 62 f.; Beatrice Breitenmoser, Die Antworten des Gesetzgebers in der 4. und 5. IVG-Revision: Die zentralen Punkte der beiden Revisionen, in: Die 5. IVG-Revision: Kann sie die Rentenexplosion stoppen?, 2004, S. 108 f.; Ralf Kocher, Ausblick auf die 5. IV-Revision, in: Invalidität im Wandel, 2005, S. 45; Ueli Kieser, Entwicklungen im Rahmen der 5. IV-Revision, HILL 2007 Fachartikel Nr. 7, S. 5; ebenso, wenn auch rechtspolitisch kritisch, Hardy Landolt, Auswirkungen der 5. IVG-Revision auf die Schadenminderungspflicht, Personen-Schaden-Forum 2007, S. 239 ff., und Thomas Locher, Stellung und Funktion der Regionalen Ärztlichen Dienste [RAD] in der Invalidenversicherung [IV], in: Medizinische Gutachten, 2005, S. 65 f.).
4.3 4.3.1 Auch auf Stellungnahmen der RAD kann indessen nur abgestellt werden, wenn sie den allgemeinen beweisrechtlichen Anforderungen an einen ärztlichen Bericht genügen (Urteil des Eidg. Versicherungsgerichts I 694/05 vom 15. Dezember 2006 E. 2). Sie müssen insbesondere in Kenntnis der Vorakten (Anamnese) abgegeben worden sein und in der Beschreibung der medizinischen Situation und Zusammenhänge einleuchten; die Schlussfolgerungen sind zu begründen (BGE 125 V 351 E. 3a S. 352). Die RAD-Ärzte müssen sodann über die im Einzelfall gefragten persönlichen und fachlichen Qualifikationen verfügen (Urteile I 142/07 vom 20. November 2007 E. 3.2.3 und I 362/06 vom 10. April 2007 E. 3.2.1). Bezüglich dieser materiellen und formellen Anforderungen sind sie im Beschwerdefall gerichtlich überprüfbar (vgl. hiezu Protokoll der Sitzung der Kommission für soziale Sicherheit und Gesundheit des Nationalrates vom 11.-13. Januar 2006, S. 101).
Nicht zwingend erforderlich ist, dass die versicherte Person untersucht wird. Nach Art. 49 Abs. 2 IVV führt der RAD für die Beurteilung der medizinischen Voraussetzungen des Leistungsanspruchs nur «bei Bedarf» selber ärztliche Untersuchungen durch. In den übrigen Fällen stützt er seine Beurteilung auf die vorhandenen ärztlichen Unterlagen ab (BBl 2005 4572 zu Absatz 2). Das Absehen von eigenen Untersuchungen ist somit nicht an sich ein Grund, um einen RAD-Bericht in Frage zu stellen. Dies gilt insbesondere, wenn es im Wesentlichen um die Beurteilung eines feststehenden medizinischen Sachverhalts geht und die direkte ärztliche Befassung mit der versicherten Person in den Hintergrund rückt (Urteil I 1094/06 vom 14. November 2007 E. 3.1.1 in fine mit Hinweisen; vgl. auch BGE 127 I 54 E. 2e und f S. 57 f.).
4.3.2 Im Übrigen hat die Rechtsprechung bereits unter der bis 31. Dezember 2007 geltenden Rechtslage erkannt, dass Berichte regionaler ärztlicher Dienste materiell Gutachtensqualität haben können (vgl. etwa Urteil des Eidg. Versicherungsgerichts I 694/05 vom 15. Dezember 2006 E. 2; vgl. auch SVR 2008 IV Nr. 13, I 211/06 E. 5.2). Trifft dies zu, haben sie beweisrechtlich keinen geringeren Rang als etwa ein MEDAS-Gutachten (Urteil 9C_773/2007 vom 23. Juni 2008 E. 5.3; Urteil des Eidg. Versicherungsgerichts I 827/05 vom 18. Oktober 2006 E. 3.2; vgl. auch Urteil 9C_657/2007 vom 12. Juni 2008 E. 3.2). Nach dem soeben ergangenen Urteil 9C_204/2009 vom 6. Juli 2009 haben RAD-Untersuchungsberichte, sofern sie den erwähnten materiellen und formellen Anforderungen (E. 4.3.1 hievor) genügen, einen vergleichbaren Beweiswert wie ein anderes Gutachten (BGE 9C_204/2009 vom 6. Juli 2009 E. 3.3.2 mit weiteren Hinweisen).
Nach der kraft Art. 55 ATSG sinngemäss anwendbaren Rechtsprechung zu Art. 12 lit. e VwVG wird mit Gutachten von Sachverständigen gestützt auf besondere Sachkenntnis Bericht über die Sachverhaltsprüfung und -würdigung erstattet (BGE 132 II 257 E. 4.4.1 S. 269). Wann eine solche medizinische Expertise vorliegt, beurteilt sich im Einzelfall aufgrund der verfahrensmässigen Bedeutung und des Inhalts der ärztlichen Meinungsäusserung. Eine generelle, schematische, formalen Gesichtspunkten folgende Abgrenzung ist nicht möglich (BGE 122 V 157 E. 1b S. 160). Immerhin handelt es sich in der Regel da um ein Sachverständigengutachten, wo ein Arzt im Hinblick auf den Abschluss eines Versicherungsfalles beauftragt wird, einen auf den gesamten medizinischen Akten und allenfalls eigenen Untersuchungen beruhenden zusammenfassenden Bericht zu erstatten (Urteil U 65/06 vom 14. Februar 2007 E. 2.2 mit Hinweisen; Urteil des Eidg. Versicherungsgerichts U 91/95 vom 9. März 1998 E. 3c).
5. 5.1 Im Gutachten des Instituts X._ vom 18. April 2008 wurden folgende Diagnosen mit Auswirkung auf die Arbeitsfähigkeit gestellt: Leichtgradige depressive Störung (ICD-10 F32.00); chronisches vertebrales-spondylogenes Syndrom lumbal mit/bei Wirbelsäulenfehlstatik, Scheuermannresiduen thorakolumbal sowie degenerative Veränderungen L4/L5 und L5/S1, leichte zervikothorakovertebrale Symptomatik. Die bisherige Tätigkeit als Zimmermädchen und Raumpflegerin wurde als ungünstig resp. nicht mehr zumutbar bezeichnet. Dem Anforderungsprofil Rechnung tragende, insbesondere körperlich leichte bis gelegentlich mittelschwere Tätigkeiten ohne Zwangshaltung der Wirbelsäule waren im zeitlichen Umfang von sechs Stunden pro Tag an fünf Tagen in der Woche zumutbar. Aus psychiatrischer Sicht bestand keine weitere Leistungseinschränkung. Bei einem zeitlichen Rahmen von 8,5 Stunden pro Tag war aus versicherungspsychiatrischer Sicht von einer maximal 20%igen Leistungsminderung auszugehen. Ergänzend gaben die Gutachter im Bericht vom 15. Mai 2008 an, dass insbesondere die degenerativen Veränderungen und die Statikproblematik im lumbalen Bereich zu den festgehaltenen Funktionseinschränkungen führten.
5.2 Dr. med. L._, Facharzt Chirurgie und Orthopädische Chirurgie und Traumatologie des Bewegungsapparates sowie Dr. med. W._, Fachärztin physikalische Medizin und Rehabilitation, vom RAD erachteten in ihrer Beurteilung vom 30. Juni 2008 eine Arbeitsfähigkeit von sechs Stunden im Tag in einer angepassten Tätigkeit nicht als begründbar, weder mit dem klinischen objektiven noch dem radiologischen Befund im Verlauf 2004 bis 2008. Aufgrund der vorhandenen bildgebenden Unterlagen sowie des neuen Befundes des Zentrums Y._ vom März 2008 sei insbesondere eine schwere degenerative Veränderung nicht ausgewiesen, bestünden keine Instabilitäten und sei die Fehlstatik nicht stark ausgeprägt. Die Ärzte des RAD kamen zum Schluss, in der Zusammenschau von Bilddiagnostik und Klinik sei kein Gesundheitsschaden der LWS ausgewiesen, der für eine Einschränkung der Leistungsfähigkeit in einer leidensangepassten Tätigkeit verantwortlich gemacht werden könne.
5.3 Die Stellungnahme des RAD stammt von Fachärzten und genügt auch sonst den beweisrechtlichen Anforderungen an medizinische Berichte. In kritischer Auseinandersetzung mit dem Gutachten des Instituts X._, welche das gesamte bildgebende Material einbezieht, wird in nachvollziehbarer Weise darlegt, weshalb die vorhandenen Befunde eine zeitliche Einschränkung der Leistungsfähigkeit in einer leidensangepassten Tätigkeit nicht plausibel zu machen vermögen. Dass die RAD-Ärzte nicht selber eine klinische Untersuchung durchgeführt und diesbezüglich auf die Expertise betreffend die Untersuchung vom 11. Januar 2007 sowie die Nachkontrolle vom 8. November 2007 abgestellt haben, schmälert den Beweiswert des Berichts vom 30. Juni 2008 nicht schon an sich (E 4.3.1), und zwar umso weniger, als die somatischen Befunde als solche nie umstritten waren. In diesem Zusammenhang trifft entgegen den Vorbringen in der Beschwerde nicht zu, dass der RAD keine eigene Einschätzung der Arbeitsfähigkeit vornehmen darf, ohne sich auf einen (anderen) Facharzt berufen zu können. Aus dem Urteil 9C_341/2007 vom 16. November 2007 ergibt sich nichts anderes. Zudem ist es nach den dargelegten neuen Rechtsgrundlagen gerade die gesetzlich vorgesehene Aufgabe des RAD, die Leistungsfähigkeit zu beurteilen (E. 4.1 und 4.2).
5.4 Es verletzt somit weder den Untersuchungsgrundsatz noch Beweiswürdigungsregeln, dass das kantonale Gericht die Arbeitsfähigkeit abweichend vom Gutachten des Instituts X._ vom 18. April 2008 gestützt auf die Beurteilung des RAD im Bericht vom 30. Juni 2008 festgesetzt hat. Unter diesen Umständen ist die Feststellung der Vorinstanz, die Beschwerdeführerin sei aus somatischer Sicht in einer dem Anforderungsprofil entsprechenden, insbesondere körperlich leichten bis mittelschweren Tätigkeit ohne Zwangshaltungen der Wirbelsäule voll arbeitsfähig, nicht offensichtlich unrichtig. Dasselbe gilt auch in Bezug auf die auf das Gutachten des Instituts X._ vom 18. April 2008 gestützte Feststellung, aus psychiatrischer Sicht liege einzig die Diagnose einer leichten depressiven Episode (ICD-10 F32.01) vor. Der vorinstanzliche Schluss, diese Diagnose vermöge für sich allein grundsätzlich keine Invalidität zu begründen, sondern sei mit einer zumutbaren Willensanstrengung überwindbar, stellt eine - zu Recht unbestrittene - rechtlich zutreffende Sachverhaltswürdigung dar (Urteil I 362/06 vom 10. April 2007 E. 3.3.2 mit Hinweisen).
6. Die vorinstanzliche Invaliditätsbemessung ist weiter nicht angefochten. Es besteht kein Anlass zu einer näheren Prüfung (vgl. BGE 125 V 413 E. 1b und 2c S. 415 ff.; 110 V 48 E. 4a S. 53). Der angefochtene Entscheid verletzt Bundesrecht nicht.
7. Dem Ausgang des Verfahrens entsprechend hat die Beschwerdeführerin die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz, der Ausgleichskasse Schwyz und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 14. Juli 2009
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Fessler