Sachverhalt:
A.
Die IV-Stelle des Kantons St. Gallen richtete dem 1963 geborenen A._ eine ganze Invalidenrente (samt Zusatzrenten für die Ehefrau und die Kinder) seit dem 1. November 1996 aus (Verfügung vom 12. November 1998, Mitteilungen vom 16. Januar 2001 und 26. Mai 2006). Im Mai 2010 veranlasste sie eine Observation des Versicherten, und im Juni 2010 leitete sie ein Revisionsverfahren ein. Im Februar 2011 beantragte sie beim Untersuchungsamt U._ die Eröffnung eines Strafverfahrens gegen A._ wegen Verdachts auf Betrug. Im April 2011 stellte sie die Rentenzahlungen vorsorglich ein. Nach Abklärungen und Durchführung des Vorbescheidverfahrens hob die IV-Stelle mit Verfügung vom 14. Januar 2013 die Invalidenrente des A._ rückwirkend (ex tunc) auf.
Mit einer weiteren Verfügung vom 21. November 2013verpflichtete die IV-Stelle A._, ihr (entsprechend den vom 1. November 1996 bis zum 31. März 2011 unrechtmässig bezogenen Rentenleistungen) Fr. 444'634.- zurückzuerstatten.
Mit Urteil 6B_428/2018 vom 31. Juli 2019 bestätigte das Bundesgericht die Verurteilung des A._ u.a. wegen gewerbsmässigen Betrugs im Zusammenhang mit dem unrechtmässigen Bezug von Invalidenrenten.
Mit Entscheid vom 16. Dezember 2019 bestätigte das Versicherungsgericht des Kantons St. Gallen die Rentenaufhebung, jedoch begrenzte es deren Rückwirkung auf den 31. Januar 2006. Die dagegen erhobene Beschwerde wies das Bundesgericht mit Urteil 9C_90/2020 vom 15. April 2020 ab.
B.
Die gegen die Rückerstattungsverfügung vom 21. November 2013 erhobene Beschwerde hiess das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 24. September 2020 insofern gut, als es (entsprechend den vom 1. Februar 2006 bis zum 31. März 2011 unrechtmässig bezogenen Rentenleistungen) den Rückerstattungsbetrag auf Fr. 148'670.- reduzierte.
C.
A._ beantragt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten, der Entscheid vom 24. September 2020 sei aufzuheben und von einer Rückzahlung (recte: Rückforderung) ihm gegenüber sei abzusehen; eventualiter sei die Angelegenheit zur Neubeurteilung an das kantonale Gericht zurückzuweisen.

Erwägungen:
1.
Unrechtmässig bezogene Leistungen sind zurückzuerstatten (<ref-law>). Der Rückforderungsanspruch erlischt mit dem Ablauf eines Jahres, nachdem die Versicherungseinrichtung davon Kenntnis erhalten hat, spätestens aber mit dem Ablauf von fünf Jahren nach der Entrichtung der einzelnen Leistung. Wird der Rückerstattungsanspruch aus einer strafbaren Handlung hergeleitet, für welche das Strafrecht eine längere Verjährungsfrist vorsieht, so ist diese Frist massgebend (<ref-law>). Im Fall einer strafbaren Handlung ist auf die Verfolgungsverjährung abzustellen (vgl. <ref-ruling> E. 5.2 S. 79; Urteil 9C_388/2018 vom 29. Oktober 2018 E. 4); diese erstreckt sich bei Betrug auf 15 Jahre (Art. 146 i.V.m. <ref-law>; Urteil 9C_484/2019 vom 25. September 2019 E. 1.3).
2.
2.1. Die Vorinstanz hat die Verwirkungsfristen hinsichtlich der Rückforderung als gewahrt erachtet, aber den zurückgeforderten Betrag an den korrigierten Zeitpunkt der Rentenaufhebung angepasst.
2.2. Aus der - hier mit Urteil 9C_90/2020 vom 15. April 2020 rechtskräftig gewordenen - rückwirkenden Rentenaufhebung folgt, dass der seitherige Rentenbezug unrechtmässig war. Dies kann im Prozess betreffend die entsprechende Rückerstattungspflicht nicht erneut in Frage gestellt werden (vgl. zur res iudicata Urteil 2C_723/2013 vom 1. Dezember 2014 E. 2.8.1; <ref-ruling> E. 5.1 S. 150; <ref-ruling> E. 2.2 S. 212 f.). Sodann ist der "Bezüger" der unrechtmässig gewährten Leistungen rückerstattungspflichtig (<ref-law> [SR 830.11]). Der Beschwerdeführer macht (e) nicht geltend, dass die Rentenleistungen nicht ihm, sondern einer anderen Person ausgerichtet worden sein sollen. Damit gilt er als rückerstattungspflichtiger "Bezüger" der Leistungen. Wofür diese verwendet wurden, und ob die Zusatzrenten letztlich nicht ihm selbst, sondern seiner Ehefrau und den Kindern "zu Gute kamen", spielt keine Rolle. Schliesslich bleiben der vorinstanzlich festgestellte Umfang der vom Beschwerdeführer unrechtmässig bezogenen Leistungen und damit der Rückforderungsbetrag für das Bundesgericht verbindlich (vgl. Art. 105 Abs. 1 und 2 BGG).
2.3. Die Beschwerde ist offensichtlich unbegründet, weshalb sie im vereinfachten Verfahren nach <ref-law> mit summarischer Begründung und unter Hinweis auf den kantonalen Gerichtsentscheid erledigt wird.
3.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 5. Februar 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Dormann