Sachverhalt:
A.
Nachdem zwei Leistungsgesuche des 1961 geborenen A._ abgewiesen worden waren (Verfügungen vom 5. Juni 2002 und vom 14. Oktober 2010; Letztere bestätigt mit Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 10. Februar 2011), meldete dieser sich im Februar 2014 erneut bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärungen und Durchführung des Vorbescheidverfahrens ermittelte die IV-Stelle Schwyz einen Invaliditätsgrad von 35 %. Folglich verneinte sie mit Verfügung vom 21. Februar 2017 wiederum einen Anspruch.
B.
Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 14. Juli 2017 ab.
C.
A._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen, unter Aufhebung des Entscheids vom 14. Juli 2017 sei ihm spätestens ab Februar 2014 eine halbe Invalidenrente, eventualiter eine Viertelsrente auszurichten; eventualiter sei die Sache zu weiterer Abklärung und neuem Entscheid an das kantonale Gericht zurückzuweisen.

Erwägungen:
1.
1.1. Die Vorinstanz hat gestützt auf das Gutachten des Zentrums für Arbeitsmedizin, Ergonomie und Hygiene AG (AEH) vom 25. Januar 2016 festgestellt, dass der Versicherte in der bisherigen selbstständigen Tätigkeit als Innendekorateur zu 50 %, hingegen in einer leidensangepassten Tätigkeit (leichte bis mittelschwere Arbeit, mit Einschränkungen bei Überkopfarbeiten, Zwangshaltungen, knienden Tätigkeiten und psychischem Druck) zu mindestens 75 % arbeitsfähig sei. Sodann hat sie die Betriebsaufgabe für zumutbar gehalten. Das Valideneinkommen hat sie auf Fr. 65'633.- und das Invalideneinkommen auf Fr. 42'346.- festgelegt. Beim resultierenden Invaliditätsgrad von (höchstens) 35 % hat sie einen Rentenanspruch verneint (Art. 28 Abs. 2 IVG).
1.2. Der Beschwerdeführer rügt einzig die Höhe des Invalideneinkommens: Die Aufgabe seines Betriebes sei unzumutbar, weshalb das tatsächliche Einkommen (in nicht bezifferter Höhe) zu berücksichtigen sei. Wenn ein Tabellenlohn herangezogen werde, sei nicht der vom kantonalen Gericht berücksichtigte Totalwert (Lohnstrukturerhebungen des Bundesamtes für Statistik [LSE] 2014, Tabelle TA1, Männer, Kompetenzniveau 1; Fr. 5'312.-), sondern nur der entsprechende Wert für Dienstleistungen (Fr. 4'971.-) massgeblich.
2.
2.1. Für die Bestimmung des Invaliditätsgrades bei Erwerbstätigen wird das Erwerbseinkommen, das die versicherte Person nach Eintritt der Invalidität und nach Durchführung der medizinischen Behandlung und allfälliger Eingliederungsmassnahmen durch eine ihr zumutbare Tätigkeit bei ausgeglichener Arbeitsmarktlage erzielen könnte, in Beziehung gesetzt zum Erwerbseinkommen, das sie erzielen könnte, wäre sie nicht invalid geworden (Art 16 ATSG).
2.2.
2.2.1. Bevor die versicherte Person Leistungen verlangt, hat sie aufgrund der Schadenminderungspflicht alles ihr Zumutbare selber vorzukehren, um die Folgen der Invalidität bestmöglich zu mindern. Ein Rentenanspruch ist zu verneinen, wenn sie selbst ohne Eingliederungsmassnahmen, nötigenfalls mit einem Berufswechsel, zumutbarerweise in der Lage ist, ein rentenausschliessendes Erwerbseinkommen zu erzielen. Für die Auslegung des unbestimmten Rechtsbegriffs der zumutbaren Tätigkeit im Allgemeinen, wie bei der Aufgabe der selbstständigen Erwerbstätigkeit im Besonderen, sind die gesamten subjektiven und objektiven Gegebenheiten des Einzelfalles zu berücksichtigen. Im Vordergrund stehen bei den subjektiven Umständen die verbliebene Leistungsfähigkeit sowie die weiteren persönlichen Verhältnisse, wie Alter, berufliche Stellung, Verwurzelung am Wohnort etc. Bei den objektiven Umständen sind insbesondere der ausgeglichene Arbeitsmarkt und die noch zu erwartende Aktivitätsdauer massgeblich (SVR 2010 IV Nr. 11 S. 35, 9C_236/2009 E. 4.1 und 4.3; 2007 IV Nr. 1 S. 1, I 750/04 E. 5.3; Urteile 9C_834/2011 vom 2. April 2012 E. 2; 8C_482/2010 vom 27. September 2010 E. 4.2). Eine Betriebsaufgabe ist nur unter strengen Voraussetzungen unzumutbar, und es kann ein Betrieb selbst dann nicht auf Kosten der Invalidenversicherung aufrecht erhalten werden, wenn die versicherte Person darin Arbeit von einer gewissen erwerblichen Bedeutung leistet (SVR 2017 IV Nr. 6 S. 15, 9C_644/2015 E. 4.3.1 mit Hinweisen).
2.2.2. Die Frage nach der Zumutbarkeit eines Berufswechsels resp. der Betriebsaufgabe im Rahmen der Schadenminderung ist als Rechtsfrage vom Bundesgericht frei überprüfbar (Urteil 9C_624/2013 vom 11. Dezember 2013 E. 3.1.1).
2.3.
2.3.1. Bei der Festsetzung des Einkommens, das der Versicherte trotz seiner gesundheitlichen Beeinträchtigung zumutbarerweise noch zu erzielen vermöchte (Invalideneinkommen), ist primär von der beruflich-erwerblichen Situation auszugehen, in welcher die versicherte Person konkret steht. Übt sie nach Eintritt der Invalidität keine oder jedenfalls keine ihr an sich zumutbare Erwerbstätigkeit mehr aus, so können Tabellenlöhne der LSE herangezogen werden (<ref-ruling> E. 4.2.1 S. 475 mit Hinweisen; Urteil 8C_307/2017 vom 26. September 2017 E. 5.2). Dabei ist in der Regel auf die Tabelle TA1 und den darin enthaltenen Totalwert abzustellen (Urteile 8C_457/2017 vom 11. Oktober 2017 E. 6.2; 8C_717/2014 vom 30. November 2015 E. 5.1).
2.3.2. Die korrekte Anwendung der LSE-Tabellen, namentlich die Wahl der Tabelle wie auch der zutreffenden Stufe (Anforderungs- bzw. Kompetenzniveau) und des zu berücksichtigenden Wirtschaftszweigs oder Totalwertes (Urteile 9C_965/2010 vom 1. März 2011 E. 4.2; 9C_678/2008 vom 29. Januar 2009 E. 3.2 mit Hinweis), ist eine Rechtsfrage, welche vom Bundesgericht ohne Einschränkung der Kognition frei überprüft wird (<ref-ruling> E. 2.4 S. 297; <ref-ruling> E. 3.3 S. 399).
2.4. Das kantonale Gericht hat für die Zumutbarkeit der Betriebsaufgabe das Alter resp. die verbleibende Aktivitätsdauer, die Aus- und Weiterbildung sowie die berufliche Erfahrung des Versicherten, dessen gesundheitliche Einschränkungen und die Persönlichkeitsstruktur, die Verbundenheit mit dem eigenen Betrieb und das wirtschaftliche Risiko einer allfälligen Arbeitslosigkeit berücksichtigt.
Weder bei Erstattung des AEH-Gutachtens (vgl. zur Massgeblichkeit dieses Zeitpunktes <ref-ruling> E. 3.3 und 3.4 S. 462) noch bei Erlass der angefochtenen Verfügung musste die Restarbeitsfähigkeit des Versicherten aufgrund seines Alters (rund 55 resp. 56 Jahre) und der verbleibenden Aktivitätsdauer als unverwertbar betrachtet werden (<ref-ruling> E. 3.1 S. 459 f. und 3.5 S. 462; Urteil 9C_624/2013 vom 11. Dezember 2013 E. 3c). Aus gesundheitlicher Sicht sind ihm die meisten leichten bis mittelschweren Tätigkeiten zumutbar, wie das kantonale Gericht verbindlich (Art. 105 Abs. 1 und 2 BGG) festgestellt hat. Massgeblich für einen allfälligen Rentenanspruch ist nicht der effektive, sondern der hypothetische ausgeglichene Arbeitsmarkt, der von der Struktur her einen Fächer verschiedenartiger Stellen offen hält (<ref-ruling> E. 4.2.1 S. 70 f.; Urteil 8C_308/2017 vom 27. September 2017 E. 4.3.2). Dass der Versicherte einen fünfjährigen Sohn und diesem gegenüber finanzielle Verpflichtungen hat, ist nicht aussergewöhnlich und lässt einen Berufswechsel nicht unzumutbar erscheinen. Schliesslich liegt eine fehlende Anspruchsberechtigung gegenüber der Arbeitslosenversicherung in der Natur der Sache, wenn es um die Aufgabe der selbstständigen Tätigkeit geht; auch daraus lässt sich nicht deren Unzumutbarkeit ableiten. Weshalb das kantonale Gericht keine Gesamtbetrachtung vorgenommen haben soll, leuchtet nicht ein. Nach dem Gesagten ist das Finden einer zumutbaren Stelle - und zwar grundsätzlich in jedem Wirtschaftszweig - nicht von vornherein ausgeschlossen. Die Vorinstanz hat für die Bestimmung des Invalideneinkommens zu Recht (E. 2.3.1 in fine) auf den Totalwert der Tabelle TA1 der LSE 2014 abgestellt.
2.5. Da die Beschwerde offensichtlich unbegründet ist, wird sie im Verfahren nach Art. 109 Abs. 2 lit. a BGG mit summarischer Begründung und unter Hinweis auf den kantonalen Gerichtsentscheid (Abs. 3) erledigt.
3.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Kosten zu tragen (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz, Kammer I, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 11. Januar 2018
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Pfiffner
Die Gerichtsschreiberin: Dormann