Sachverhalt:
A.
Der 1955 geborene K._ ist seit 1983 als Landwirt selbstständig erwerbstätig; von 1998 bis 2005 arbeitete er zudem in einem Pensum von rund 30 % als Asylantenbetreuer. Nachdem er im April 2007 einen Unfall erlitten hatte, meldete er sich Im März 2008 bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärungen und Durchführung des Vorbescheidverfahrens verneinte die IV-Stelle des Kantons St. Gallen mit Verfügung vom 22. März 2011 einen Anspruch auf eine Invalidenrente bei einem Invaliditätsgrad von 16,5 %.
B.
Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 21. Februar 2013 (versandt am 18. Juli 2013) ab.
C.
K._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen, unter Aufhebung des Entscheids vom 21. Februar 2013 sei ihm spätestens ab 1. April 2008 eine Viertelsrente der Invalidenversicherung zuzusprechen; eventualiter sei die Sache zur Durchführung weiterer Abklärungen an das kantonale Gericht bzw. an die IV-Stelle zurückzuweisen.
Die IV-Stelle lässt sich nicht vernehmen. Das kantonale Gericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>).
2.
Die Vorinstanz hat verbindlich (E. 1) festgestellt, die Arbeitsfähigkeit des Versicherten sei nur in der landwirtschaftlichen, nicht aber in einer behinderungsadaptierten Tätigkeit eingeschränkt. Sie ist der Auffassung, im Rahmen der Schadenminderungspflicht sei die Aufgabe des landwirtschaftlichen Betriebes zumutbar. Das selbst als Hilfsarbeiter in einer unselbstständigen, angepassten Tätigkeit erzielbare Einkommen müsse tendenziell höher als das Valideneinkommen sein, weshalb die IV-Stelle einen Rentenanspruch zu Recht verneint habe.
3.
3.1.
3.1.1. Bevor die versicherte Person Leistungen verlangt, hat sie aufgrund der Schadenminderungspflicht alles ihr Zumutbare selber vorzukehren, um die Folgen der Invalidität bestmöglich zu mindern. Ein Rentenanspruch ist zu verneinen, wenn sie selbst ohne Eingliederungsmassnahmen, nötigenfalls mit einem Berufswechsel, zumutbarerweise in der Lage ist, ein rentenausschliessendes Erwerbseinkommen zu erzielen. Für die Auslegung des unbestimmten Rechtsbegriffs der zumutbaren Tätigkeit im Allgemeinen, wie bei der Aufgabe der selbstständigen Erwerbstätigkeit im Besonderen, sind die gesamten subjektiven und objektiven Gegebenheiten des Einzelfalles zu berücksichtigen. Im Vordergrund stehen bei den subjektiven Umständen die verbliebene Leistungsfähigkeit sowie die weiteren persönlichen Verhältnisse, wie Alter, berufliche Stellung, Verwurzelung am Wohnort etc. Bei den objektiven Umständen sind insbesondere der ausgeglichene Arbeitsmarkt und die noch zu erwartende Aktivitätsdauer massgeblich (SVR 2010 IV Nr. 11 S. 35, 9C_236/2009 E. 4.1 und 4.3; 2007 IV Nr. 1 S. 1; I 750/04 E. 5.3; Urteile 9C_834/2011 vom 2. April 2012 E. 2; 8C_482/2010 vom 27. September 2010 E. 4.2). Eine Betriebsaufgabe ist nur unter strengen Voraussetzungen unzumutbar, und es kann ein Betrieb selbst dann nicht auf Kosten der Invalidenversicherung aufrecht erhalten werden, wenn die versicherte Person darin Arbeit von einer gewissen erwerblichen Bedeutung leistet (Urteil 9C_834/2011 vom 2. April 2012 E. 4 mit Hinweis).
3.1.2. Die Frage nach der Zumutbarkeit eines Berufswechsels resp. der Betriebsaufgabe im Rahmen der Schadenminderung ist als Rechtsfrage vom Bundesgericht frei überprüfbar (vgl. Urteil 9C_652/2007 vom 24. Juli 2008 E. 2.3).
3.2. Die Vorinstanz hat die Aufgabe des Betriebs für zumutbar gehalten und dabei zutreffend den Aspekten der Betriebsübergabe an ein Kind, der Altersvorsorge und des wirtschaftlichen Risikos resp. einer allfälligen Arbeitslosigkeit Rechnung getragen. Weiter ist zu berücksichtigen, dass die vollständige Arbeitsfähigkeit des Versicherten für leidensangepasste Tätigkeiten, auch wenn sie nach der Ende Oktober 2008 erfolgten Operation vorübergehend eingeschränkt war, bereits mit der Einschätzung des SUVA-Kreisarztes vom 14. Februar 2008 feststand. Weder zu diesem Zeitpunkt (vgl. <ref-ruling> E. 3.3 und 3.4 S. 462) noch bei Erlass der angefochtenen Verfügung musste die Restarbeitsfähigkeit des Versicherten aufgrund seines Alters (rund 53 resp. 56 Jahre) und der verbleibenden Aktivitätsdauer als unverwertbar betrachtet werden (<ref-ruling> E. 3.1 S. 459 f. und 3.5 S. 462). Hinzu kommt, anders als etwa im Fall 9C_578/2009 E. 4.3 (SVR 2010 IV Nr. 37 S. 115), dass sich die gesundheitlichen Beschwerden des Beschwerdeführers nur in der angestammten Arbeit als Landwirt, nicht aber in leidensangepassten Tätigkeiten auswirken. Eine solche Beschäftigung übte er indessen, wenn auch im Nebenerwerb, während rund sieben Jahren aus; anschliessend absolvierte er erfolgreich eine Weiterbildung für "Betreuungsleistungen in der Landwirtschaft". Schliesslich ist zu beachten, dass nicht nur ein Invalideneinkommen als Landwirt, sondern selbst das Valideneinkommen (vgl. <ref-law> [SR 830.1]) deutlich geringer ist als der Verdienst, der in angepasster Tätigkeit erzielt werden könnte: Im Abklärungsbericht Landwirtschaft vom 20. Mai 2010 wird ein hypothetisches Betriebseinkommen (ohne gesundheitliche Einschränkung) von lediglich Fr. 18'000.- ausgewiesen, und gemäss Auszug aus dem individuellen Konto betrug das Einkommen des Versicherten aus der Landwirtschaft von 2003 bis 2006 durchschnittlich Fr. 15'108.-. Dagegen erzielten laut Lohnstrukturerhebung des Bundesamtes für Statistik 2008 Männer für einfache und repetitive Tätigkeiten (LSE 2008, Tabelle TA1, Anforderungsniveau 4) und unter Berücksichtigung der betriebsüblichen Wochenarbeitszeit von 41,6 Stunden durchschnittlich einen Jahreslohn von Fr. 59'978.-. Inwiefern für solche Arbeit im Rahmen allfälliger beruflicher Massnahmen - wobei in erster Linie Arbeitsvermittlung (<ref-law>) in Betracht fällt - mit einer "längeren Ausbildungszeit" zu rechnen sein soll, wird nicht dargelegt und ist auch nicht ersichtlich.
3.3. Angesichts dieser objektiven und subjektiven Gegebenheiten hat die Vorinstanz nicht Bundesrecht verletzt, wenn sie unter invalidenversicherungsrechtlichen Aspekten die Aufgabe des landwirtschaftlichen Betriebes und einen damit verbundenen Berufswechsel für zumutbar gehalten hat. Soweit der Beschwerdeführer vorbringt, sein Gesundheitszustand habe sich nach Erlass der angefochtenen Verfügung (vgl. <ref-ruling> E. 3.1.1 S. 320; SVR 2011 IV Nr. 31 S. 90, 9C_728/2009 E. 1 mit Hinweisen; Urteil 9C_76/2013 vom 27. Mai 2013 E. 2.2) verschlechtert, handelt es sich um unzulässige neue Tatsachenbehauptungen (<ref-law>), die gegebenenfalls im Rahmen einer Neuanmeldung geltend zu machen sind (vgl. Art. 87 Abs. 3 und Art. 29 bis IVV [SR 831.201]). Die Beschwerde ist unbegründet.
4.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 11. Dezember 2013
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Die Gerichtsschreiberin: Dormann