Sachverhalt:
A. Nachdem ihr Leistungsbegehren von der IV-Stelle Schwyz mit Einspracheentscheid vom 13. Dezember 2006 abgewiesen worden war, meldete sich die 1962 geborene D._ im Oktober 2007 erneut bei der Invalidenversicherung zum Leistungsbezug an. Im Rahmen der Sachverhaltsabklärungen holte die IV-Stelle u.a. bei der MEDAS das Gutachten vom 23. Juni 2006 ein. Nach Durchführung des Vorbescheidverfahrens verneinte sie mit Verfügung vom 18. November 2008 wiederum den Anspruch der D._ auf eine Invalidenrente. Die dagegen erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 26. März 2009 insofern gut, als es die Sache zur Vornahme weiterer Abklärungen und neuen Verfügung an die Verwaltung zurückwies. Nachdem sie eine Begutachtung durch das Institut für forensische Psychiatrie und Psychotherapie (IFPP) angeordnet hatte, welcher zu unterziehen sich die Versicherte weigerte, verneinte die IV-Stelle mit Verfügung vom 30. September 2009 erneut einen Anspruch auf eine Invalidenrente.
B. Die Beschwerde der D._ wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 9. März 2010 ab.
C. D._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, unter Aufhebung des Entscheids vom 9. März 2010 sei die Angelegenheit an die Verwaltung zurückzuweisen und diese anzuweisen, Ergänzungsfragen an die MEDAS zu stellen; eventualiter sei festzustellen, dass sie die Mitwirkungspflichten nicht schuldhaft verletzt habe.
Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 2 BGG).
2. Soweit ärztliche oder fachliche Untersuchungen für die Beurteilung notwendig und zumutbar sind, hat sich die versicherte Person diesen zu unterziehen (Art. 43 Abs. 2 ATSG). Die Notwendigkeit der Anordnung eines weiteren Gutachtens ergibt sich aus der Beantwortung der Frage, ob bereits bei den Akten liegende Gutachten die inhaltlichen und beweismässigen Anforderungen an eine ärztliche Expertise (BGE 125 V 351 E. 3a S. 352) erfüllen (SVR 2007 UV Nr. 33 S. 111, U 571/06 E. 4.2).
Die Leistungen können gekürzt oder verweigert werden, wenn die versicherte Person den Pflichten nach Art. 43 Abs. 2 ATSG nicht nachgekommen ist. Sie muss vorher schriftlich gemahnt und auf die Rechtsfolgen hingewiesen werden; es ist ihr eine angemessene Bedenkzeit einzuräumen (Art. 7b Abs. 1 IVG in Verbindung mit Art. 21 Abs. 4 ATSG; vgl. auch Art. 43 Abs. 3 ATSG).
3. Die Vorinstanz hat es für zulässig gehalten, dass die IV-Stelle eine neue psychiatrische Begutachtung angeordnet hatte. In der Auffassung, die Versicherte habe mit ihrer Weigerung, sich einer erneuten Begutachtung zu unterziehen, die ihr obliegende Mitwirkungspflicht schuldhaft verletzt und das Mahn- und Bedenkzeitverfahren sei korrekt durchgeführt worden, hat sie die einen Rentenanspruch verneinende Verfügung bestätigt.
Streitig und zu prüfen ist einzig, ob die Anordnung einer Begutachtung durch das IFPP statthaft war und das diesbezügliche Verhalten der Beschwerdeführerin eine Verletzung der Mitwirkungspflicht darstellt.
4. 4.1 Im Entscheid vom 26. März 2009 erwog die Vorinstanz, die Verwaltung sei gestützt auf die Stellungnahme des Regionalen Ärztlichen Dienstes von der im MEDAS-Gutachten vom 23. Juni 2006 ausgewiesenen Arbeitsfähigkeitsschätzung abgewichen. In einem solchen Fall seien weitere Abklärungen angezeigt. Damit hat sie implizite die Beweiskraft des MEDAS-Gutachtens in Abrede gestellt und eine ungenügende Sachverhaltsabklärung festgestellt. Diese Beweiswürdigung (zur Qualifikation als Tatfrage vgl. Urteile 8C_763/2008 vom 19. Juni 2009 E. 1, nicht publiziert in: BGE 135 V 306; 9C_39/2010 vom 25. März 2010 E. 4.1.2) ist nicht offensichtlich unrichtig (E. 1) und wird auch von der Beschwerdeführerin nicht in Frage gestellt, zumal sie selber - wie bereits im kantonalen Verfahren - die Rückweisung der Sache an die Verwaltung zu ergänzender Sachverhaltsabklärung verlangt. Es steht indessen im Ermessen des kantonalen Gerichts, welche Art von Gutachten (Zweitgutachten oder Ergänzungsgutachten) anzuordnen ist (Urteile 9C_273/2009 vom 14. September 2009 E. 3.1; 8C_615/2008 vom 15. September 2008 E. 4.2; je mit Hinweisen). Es ist daher nicht einzusehen, weshalb es die Wahl des besser geeigneten Abklärungsmittels nicht auch der Verwaltung überlassen können sollte.
4.2 Die Tatsache allein, dass der medizinische Sachverhalt möglicherweise auch durch Ergänzungsfragen an den MEDAS-Gutachter hätte erhellt werden können, stellt keinen konkreten Umstand dar, welcher die Begutachtung durch das IFPP als unzumutbar erscheinen lässt (vgl. SVR 2007 IV Nr. 48 S. 156, I 988/06 E. 4.2). Weiter spricht ein gewisser ärztlicher Ermessensspielraum in der Einschätzung der medizinischen Situation und der daraus resultierenden Arbeitsfähigkeit nicht gegen die Eignung eines weiteren Gutachtens für die Sachverhaltsabklärung, zumal die IV-Stelle im Schreiben vom 4. August 2009 zutreffend darauf hinwies, dass seit der MEDAS-Begutachtung mehr als ein Jahr verstrichen sei, was für eine nochmalige umfassende psychiatrische Abklärung spreche. Ausserdem ist aus der Kenntnis der im früheren Gutachten bemängelten Punkte nicht auf die Befangenheit des Gutachters zu schliessen, insbesondere weil er Einblick in die Vorakten haben muss und eine Auseinandersetzung mit einander widersprechenden Auffassungen die Qualität der Expertise erhöht (vgl. BGE 125 V 351 E. 3a S. 352).
4.3 Die Anordnung des IFPP-Gutachtens entspricht der nicht offensichtlich unrichtigen Feststellung der Vorinstanz (E. 1), sie habe im Entscheid vom 26. März 2009 in Bezug auf die Notwendigkeit von Rückfragen bei der MEDAS resp. einer neuen psychiatrischen Abklärung eine "entweder-oder-Regelung" vorgegeben. Selbst wenn die Auffassung der Versicherten, wonach die Verwaltung sich in unzulässiger Weise über die Anordnung des kantonalen Gerichts hinweggesetzt habe, weil zunächst eine Stellungnahme der MEDAS hätte eingeholt werden müssen und erst danach ein neues Gutachten in Betracht gefallen wäre, zuträfe, wurde in der Beschwerde nicht dargelegt und ist auch nicht ersichtlich, inwiefern dadurch Bundesrecht verletzt wäre. Die Argumentation der Versicherten, dass sie, um gegen die "entweder-oder-Regelung" zu opponieren, entgegen dem vorinstanzlichen Standpunkt nicht bereits den Entscheid vom 26. März 2009 hätte anfechten müssen (vgl. Art. 93 Abs. 1 und 3 BGG), ist daher nicht stichhaltig.
4.4 Soweit die Beschwerdeführerin in Bezug auf die Zulässigkeit einer "Zweitbegutachtung" eine Verletzung der Begründungspflicht und damit des rechtlichen Gehörs durch das kantonale Gericht geltend macht, ist ihr entgegen zu halten, dass eine sachgerechte Anfechtung des vorinstanzlichen Entscheides möglich war (vgl. BGE 134 I 83 E. 4.1 S. 88; 133 III 439 E. 3.3 S. 445; 124 V 180 E. 1a S. 181).
4.5 Die Frage, ob im Rahmen des hier anwendbaren Art. 7b IVG für den Eintritt der vorgesehenen Folgen einer Mitwirkungspflichtverletzung diese, wie in Art. 43 Abs. 3 ATSG ausdrücklich festgehalten, in unentschuldbarer Weise erfolgt sein muss, kann offen bleiben. Eine unterschiedliche rechtliche Auffassung über das Bestehen einer (zumutbaren) Mitwirkungspflicht allein vermag - sofern sie in der Folge bejaht wird - deren Verletzung nicht zu rechtfertigen: Weigert sich eine versicherte Person, sich einer Begutachtung zu unterziehen, begründet sie dies in der Regel damit, dass sie dazu rechtlich nicht verpflichtet sei (vgl. etwa SZS 2008 S. 165, I 42/06 E. 4.1 und 4.7); träfe die Argumentation der Beschwerdeführerin zu, wäre eine Sanktionierung solchen Verhaltens kaum mehr möglich, was nicht der Wille des Gesetzgebers gewesen sein kann. Dem Eventualbegehren ist daher ebenfalls nicht stattzugeben. Die Beschwerde ist unbegründet.
5. Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten der Beschwerdeführerin aufzuerlegen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 9. Juli 2010
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Dormann