Sachverhalt:
A. Die 1956 geborene S._ ersuchte im Mai 2008 um eine Rente der Invalidenversicherung. Nach Abklärungen und Durchführung des Vorbescheidverfahrens ermittelte die IV-Stelle Schwyz einen Invaliditätsgrad von 42 % und sprach der Versicherten folglich mit Verfügung vom 8. November 2011 eine Viertelsrente ab 1. Dezember 2008 zu. Dabei wies sie explizit darauf hin, dass sie abweichend von einem ersten Vorbescheid für die Invaliditätsbemessung nicht die gemischte Methode, sondern die allgemeine des Einkommensvergleichs anwende.
B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 16. Mai 2012 ab.
C. S._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen, die Dispositiv-Ziffern 1, 2 und 4 des Entscheids vom 16. Mai 2012 seien aufzuheben und die Sache sei zur Neubeurteilung an die Vorinstanz zurückzuweisen; eventuell sei ihr mit Wirkung ab 1. Dezember 2008 eine halbe Invalidenrente auszurichten.
Die IV-Stelle, das kantonale Gericht und das Bundesamt für Sozialversicherungen verzichten auf eine Stellungnahme.
Erwägungen:
1. 1.1 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 2 BGG).
1.2 Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (BGE 134 V 250 E. 1.2 S. 252 mit Hinweisen).
2. 2.1 Es steht fest und ist unbestritten, dass die Versicherte in ihrer bisherigen, nach verbindlicher (E. 1.1) vorinstanzlicher Feststellung ihrem Leiden "geradezu ideal angepassten" Tätigkeit als (selbstständige) Kosmetikerin nur noch zu 50 % arbeitsfähig ist. Unbestritten ist auch der Zeitpunkt des Rentenbeginns (vgl. Art. 28 Abs. 1 lit. b IVG). Streitig und zu prüfen ist lediglich die Frage nach dem Erwerbsstatus, d.h. ob für die Invaliditätsbemessung die allgemeine oder die gemischte Methode anzuwenden ist.
2. 2.1 Es steht fest und ist unbestritten, dass die Versicherte in ihrer bisherigen, nach verbindlicher (E. 1.1) vorinstanzlicher Feststellung ihrem Leiden "geradezu ideal angepassten" Tätigkeit als (selbstständige) Kosmetikerin nur noch zu 50 % arbeitsfähig ist. Unbestritten ist auch der Zeitpunkt des Rentenbeginns (vgl. Art. 28 Abs. 1 lit. b IVG). Streitig und zu prüfen ist lediglich die Frage nach dem Erwerbsstatus, d.h. ob für die Invaliditätsbemessung die allgemeine oder die gemischte Methode anzuwenden ist.
2.2 2.2.1 Ob eine versicherte Person als ganztägig oder zeitweilig erwerbstätig oder als nichterwerbstätig einzustufen ist, ergibt sich aus der Prüfung, was sie bei im Übrigen unveränderten Umständen täte, wenn keine gesundheitliche Beeinträchtigung bestünde. Entscheidend ist somit nicht, welches Ausmass der Erwerbstätigkeit der versicherten Person im Gesundheitsfall zugemutet werden könnte, sondern in welchem Pensum sie hypothetisch erwerbstätig wäre (BGE 133 V 504 E. 3.3 S. 507; Urteil 9C_49/2008 vom 28. Juli 2008 E. 3.3; je mit Hinweisen). Bei im Haushalt tätigen Versicherten im Besonderen sind die persönlichen, familiären, sozialen und erwerblichen Verhältnisse ebenso wie allfällige Erziehungs- und Betreuungsaufgaben gegenüber Kindern, das Alter, die beruflichen Fähigkeiten und die Ausbildung sowie die persönlichen Neigungen und Begabungen zu berücksichtigen. Die Statusfrage beurteilt sich praxisgemäss nach den Verhältnissen, wie sie sich bis zum Erlass der Verwaltungsverfügung entwickelt haben, wobei für die hypothetische Annahme einer im Gesundheitsfall ausgeübten (Teil-)Erwerbstätigkeit der im Sozialversicherungsrecht übliche Beweisgrad der überwiegenden Wahrscheinlichkeit erforderlich ist (BGE 130 V 393 E. 3.3 S. 396; 125 V 146 E. 2c S. 150 mit Hinweisen; Urteil 9C_406/2011 vom 9. Juli 2012 E. 5.1).
2.2.2 Die Invalidität bestimmt sich in der Folge dadurch, dass im Erwerbsbereich ein Einkommens- und im Aufgabenbereich ein Betätigungsvergleich vorgenommen wird (vgl. Art. 28a Abs. 1 und 2 IVG). Bei Teilerwerbstätigkeit ergibt sich die Invalidität unter Anwendung der gemischten Methode aus der Addierung der in beiden Bereichen ermittelten und gewichteten Teilinvaliditäten (vgl. Art. 28a Abs. 3 IVG; BGE 130 V 393 E. 3.3 S. 396; Urteil 9C_406/2011 vom 9. Juli 2012 E. 5.2).
2.2.3 Die auf eine Würdigung konkreter Umstände gestützte Festsetzung des hypothetischen Umfanges der Erwerbstätigkeit ist eine Tatfrage, welche das Bundesgericht nur in den genannten Schranken (E. 1.1) überprüft. Eine Rechtsfrage läge nur vor, wenn die Festlegung des Umfangs der Erwerbstätigkeit im Gesundheitsfall ausschliesslich gestützt auf die allgemeine Lebenserfahrung erfolgt wäre (Urteile I 708/06 vom 23. November 2006 E. 3.2; 9C_686/2008 vom 4. November 2008 E. 4.1; 9C_709/2009 vom 14. Dezember 2009 E. 3.2), was hier nicht zutrifft.
3. 3.1 Was den erwerblichen Bereich anbelangt, hat die Vorinstanz den Invaliditätsgrad (Art. 28a Abs. 1 IVG in Verbindung mit Art. 16 ATSG [SR 830.1]) ausgehend von einem vollen Arbeitspensum und entsprechend der Arbeitsfähigkeit mittels eines Prozentvergleichs (vgl. Urteil 9C_882/2010 vom 25. Januar 2011 mit Hinweisen) auf 50 % festgelegt. In Bezug auf den Haushaltsbereich hat sie gestützt auf den Abklärungsbericht Haushalt vom 30. Juni 2011 festgestellt, es bestehe keine Einschränkung (vgl. Art. 28a Abs. 2 IVG).
Unter Verweis auf den Abklärungsbericht für Selbstständigerwerbende vom 27. Mai 2011 hat das kantonale Gericht festgestellt, die Beschwerdeführerin sei bei Rentenbeginn im Dezember 2008 zu 90 % als selbstständigerwerbende Kosmetikerin und nebenbei zu 10 % im Haushalt tätig gewesen. Sie hat daher die gemischte Methode für anwendbar gehalten (vgl. Art. 28a Abs. 3 IVG) und den erwerblichen Invaliditätsgrad entsprechend gewichtet. Bei einer insgesamt resultierenden Einschränkung von 45 % hat sie den Anspruch auf eine Viertelsrente bestätigt.
Unter Verweis auf den Abklärungsbericht für Selbstständigerwerbende vom 27. Mai 2011 hat das kantonale Gericht festgestellt, die Beschwerdeführerin sei bei Rentenbeginn im Dezember 2008 zu 90 % als selbstständigerwerbende Kosmetikerin und nebenbei zu 10 % im Haushalt tätig gewesen. Sie hat daher die gemischte Methode für anwendbar gehalten (vgl. Art. 28a Abs. 3 IVG) und den erwerblichen Invaliditätsgrad entsprechend gewichtet. Bei einer insgesamt resultierenden Einschränkung von 45 % hat sie den Anspruch auf eine Viertelsrente bestätigt.
3.2 3.2.1 Selbst wenn die vorinstanzliche Feststellung betreffend die Tätigkeit bei Rentenbeginn für das Bundesgericht verbindlich wäre (E. 1.1), könnte sie nicht massgeblich sein für die Beantwortung der Frage nach dem Erwerbsstatus: Entscheidend ist nicht, welche Betätigung bei Rentenbeginn tatsächlich ausgeübt wurde, sondern in welchem Pensum die Versicherte ohne gesundheitliche Beeinträchtigung nach der Entwicklung der Verhältnisse bis zum Erlass der Rentenverfügung - hier im November 2011 - erwerbstätig gewesen wäre (E. 2.2.1). Diesbezüglich hat das kantonale Gericht keine Feststellung getroffen. Der Sachverhalt lässt sich indessen ergänzen (E. 1.1).
Soweit mit den vorinstanzlichen Erwägungen implizite festgestellt werden sollte, dass die Versicherte im massgeblichen Zeitpunkt hypothetisch im Umfang von 90 % erwerbstätig gewesen wäre, wäre diese Feststellung für das Bundesgericht nicht verbindlich (E. 1.1): Sie würde auf einer Rechtsverletzung beruhen in dem Sinn, als mit dem Abklärungsbericht für Selbstständigerwerbende vom 27. Mai 2011 und dem Abklärungsbericht Haushalt vom 30. Juni 2011 zwei widersprüchliche Einschätzungen der Statusfrage vorliegen, die das kantonale Gericht indessen keiner (erkennbaren) Beweiswürdigung unterzogen hat (vgl. Art. 61 lit. h ATSG; BGE 133 III 439 E. 3.3 S. 445; 125 V 351 E. 3a S. 352). Auch in diesem Fall ist eine Sachverhaltsergänzung durch das Bundesgericht angezeigt.
3.2.2 Die Versicherte ist alleinerziehende Mutter einer im April 1997 geborenen Tochter. Dem Abklärungsbericht für Selbstständigerwerbende vom 27. Mai 2011 lässt sich entnehmen, dass ihr Arbeitspensum seit Gründung des Kosmetikstudios im Jahr 1986 zwischen 50 und 80 % variierte, dass sich der Kosmetiksalon in einem Zimmer auf der gleichen Etage wie die Wohnung befindet und dass sie ohne gesundheitliche Beeinträchtigung ab dem elften Lebensjahr der Tochter (2008) im Umfang von 80 bis 100 % erwerbstätig wäre. Die IV-Stelle hielt diesen Bericht nicht für eine zuverlässige Grundlage zur Beantwortung der Statusfrage, weshalb sie explizit zu deren Klärung weitere Ermittlungen veranlasste. Aus dem Abklärungsbericht Haushalt vom 30. Juni 2011 geht hervor, dass die Versicherte wünschte, "nicht dauernd am unteren Limit leben zu müssen" und ein Einkommen von monatlich rund Fr. 4'500.- erzielen zu können. Dass sie unter den gegebenen Umständen vollzeitig erwerbstätig wäre, erschien der Abklärungsperson nachvollziehbar. Angesichts dieser Verhältnisse, insbesondere des Alters der Tochter, die im massgeblichen Zeitpunkt bereits 14 Jahre und 7 Monate alt war, der räumlichen Nähe des Wohn- und Arbeitsortes und der Flexibilität bei der Einteilung der Arbeitszeit ist anzunehmen, dass die Versicherte ohne gesundheitliche Beeinträchtigung seit Erlass der Rentenverfügung in einem vollen Pensum erwerbstätig wäre.
3.3 Nach dem Gesagten ist die Invalidität nach der allgemeinen Methode zu bemessen. Es besteht keine Veranlassung, von dem von der Vorinstanz für den erwerblichen Bereich auf 50 % festgelegten (E. 3.1) Invaliditätsgrad abzuweichen. Die Beschwerde ist begründet; die Versicherte hat Anspruch auf eine halbe Invalidenrente (Art. 28 Abs. 2 IVG).
4. 4.1 Bei diesem Ergebnis gibt es keinen Grund für die beantragte Rückweisung der Sache an die Vorinstanz zwecks Anhörung der Parteien (Art. 29 Abs. 2 BV); das Bundesgericht entscheidet reformatorisch (Art. 107 Abs. 2 BGG; ULRICH MEYER/JOHANNA DORMANN, in: Basler Kommentar, Bundesgerichtsgesetz, 2. Aufl. 2011, N. 3 zu Art. 107 BGG).
4.2 Die - mangels eines schutzwürdigen Interesses (vgl. Art. 89 Abs. 1 lit. c BGG) - nicht angefochtene Dispositiv-Ziffer 3 des vorinstanzlichen Entscheides betrifft die Gewährung der unentgeltlichen Verbeiständung und die Entschädigung des gerichtlich bestellten Rechtsbeistandes. Insbesondere Letzteres steht in engem Zusammenhang mit den Parteikosten des vorinstanzlichen Verfahrens und deren Verlegung, worüber das Bundesgericht - in Abweichung von Art. 107 Abs. 1 BGG - von Amtes wegen entscheidet (Art. 68 Abs. 5 BGG; THOMAS GEISER, in: Basler Kommentar, Bundesgerichtsgesetz, 2. Aufl. 2011, N. 24 zu Art. 68 BGG und N. 6 zu Art. 67 BGG).
5. Gemäss dem Ausgang des Verfahrens hat die Beschwerdegegnerin die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG). Die obsiegende Beschwerdeführerin hat Anspruch auf eine Parteientschädigung (Art. 68 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 16. Mai 2012, soweit er nicht die unentgeltliche Verbeiständung im Grundsatz betrifft, und die Verfügung der IV-Stelle Schwyz vom 8. November 2011 werden aufgehoben. Die Beschwerdegegnerin hat der Beschwerdeführerin ab 1. Dezember 2008 eine halbe Invalidenrente auszurichten.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Anwalt der Beschwerdeführerin für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Verwaltungsgericht des Kantons Schwyz zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 10. Januar 2013
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Die Gerichtsschreiberin: Dormann