Sachverhalt: A. Der 1955 geborene K._ ist seit 1983 als Landwirt selbstständig erwerbstätig; von 1998 bis 2005 arbeitete er zudem in einem Pensum von rund 30 % als Asylantenbetreuer. Nachdem er im April 2007 einen Unfall erlitten hatte, meldete er sich Im März 2008 bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärungen und Durchführung des Vorbescheidverfahrens verneinte die IV-Stelle des Kantons St. Gallen mit Verfügung vom 22. März 2011 einen Anspruch auf eine Invalidenrente bei einem Invaliditätsgrad von 16,5 %. B. Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 21. Februar 2013 (versandt am 18. Juli 2013) ab. C. K._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen, unter Aufhebung des Entscheids vom 21. Februar 2013 sei ihm spätestens ab 1. April 2008 eine Viertelsrente der Invalidenversicherung zuzusprechen; eventualiter sei die Sache zur Durchführung weiterer Abklärungen an das kantonale Gericht bzw. an die IV-Stelle zurückzuweisen. Die IV-Stelle lässt sich nicht vernehmen. Das kantonale Gericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.