Sachverhalt:
A.
Der 1954 geborene X._ bezog von der Invalidenversicherung eine halbe Rente ab September 1996 resp. eine ganze Rente ab 1. Juni 1999 (nebst Zusatzrenten für die Ehefrau und fünf Kinder). Die Unfallversicherung reichte am 21. Dezember 2007 gegen X._ Strafanzeige wegen Verdachts auf Versicherungsbetrug ein. Das Bezirksgericht verurteilte X._ am 10. Februar 2009 wegen mehrfachen Betrugs sowie versuchten Betrugs zu einer Freiheitsstrafe von 24 Monaten. Das Obergericht des Kantons Zürich sprach X._ am 24. März 2011 auf dessen Berufung hin frei. Mit Urteil 6B_304/2011 vom 24. November 2011 hiess das Bundesgericht die dagegen erhobene Beschwerde der Oberstaatsanwaltschaft des Kantons Zürich insoweit gut, als es den Entscheid vom 24. März 2011 aufhob und die Sache zur neuen Entscheidung an die Vorinstanz zurückwies.
Die IV-Stelle des Kantons Zürich hob die Invalidenrenten mit Verfügung vom 12. Juni resp. 4. August 2015 rückwirkend per 1. November 2003 auf, was das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 31. Mai 2016 und schliesslich das Bundesgericht mit Urteil 9C_599/2016 vom 29. März 2017 bestätigte.
Entsprechend dem Vorbescheid vom 18. Dezember 2015 verpflichtete die IV-Stelle X._ mit Verfügung vom 28. April 2017, ihr für vom 1. November 2003 bis zum 31. Mai 2008 zu Unrecht bezogene Renten den Betrag von Fr. 113'625.- zurückzuerstatten.
Das Obergericht des Kantons Zürich erkannte X._ am 24. Oktober 2017 des mehrfachen Betrugs und des versuchten Betrugs im Zusammenhang mit dem Rentenbezug schuldig. Mit Urteil 6B_14/2018 vom 8. März 2019 wies das Bundesgericht die dagegen erhobene Beschwerde des X._ ab, soweit es darauf eintrat.
B.
Die Beschwerde gegen die Rückerstattungsverfügung vom 28. April 2017 wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 29. Mai 2019 ab.
C.
X._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen, der Entscheid vom 29. Mai 2019 sei ersatzlos aufzuheben. In prozessualer Hinsicht verlangt er die Sistierung des Verfahrens bis zum rechtskräftigen Abschluss des aktuell beim Europäischen Gerichtshof für Menschenrechte (nachfolgend: EGMR) hängigen Verfahrens (Prozessnummer 71522/17, X._ c. Schweiz).
Erwägungen:
1.
1.1. Gemäss Art. 6 Abs. 1 BZP in Verbindung mit Art. 71 BGG kann das Verfahren aus Gründen der Zweckmässigkeit ausgesetzt werden, insbesondere wenn das Urteil von der Entscheidung in einem anderen Rechtsstreit beeinflusst werden kann.
1.2. Entscheide des Bundesgerichts erwachsen am Tag ihrer Ausfällung in Rechtskraft (Art. 61 BGG). Der EGMR kann u.a. von jeder natürlichen Person, die behauptet, durch eine der Hohen Vertragsparteien in einem der in dieser Konvention oder den Protokollen dazu anerkannten Rechte verletzt zu sein, mit einer Beschwerde befasst werden (Art. 34 EMRK). Der EGMR kann sich mit einer Angelegenheit erst nach Erschöpfung aller innerstaatlichen Rechtsbehelfe in Übereinstimmung mit den allgemein anerkannten Grundsätzen des Völkerrechts und nur innerhalb einer Frist von sechs Monaten nach der endgültigen innerstaatlichen Entscheidung befassen (Art. 35 Ziff. 1 EMRK). Die Revision eines Urteils des Bundesgerichts kann wegen Verletzung der EMRK verlangt werden, wenn: a. der EGMR in einem endgültigen Urteil festgestellt hat, dass die EMRK oder die Protokolle dazu verletzt worden sind; b. eine Entschädigung nicht geeignet ist, die Folgen der Verletzung auszugleichen; und c. die Revision notwendig ist, um die Verletzung zu beseitigen (Art. 122 BGG).
1.3. Unrechtmässig bezogene Leistungen sind zurückzuerstatten (Art. 25 Abs. 1 Satz 1 ATSG). Der Rückforderungsanspruch erlischt mit dem Ablauf eines Jahres, nachdem die Versicherungseinrichtung davon Kenntnis erhalten hat, spätestens aber mit dem Ablauf von fünf Jahren nach der Entrichtung der einzelnen Leistung. Wird der Rückerstattungsanspruch aus einer strafbaren Handlung hergeleitet, für welche das Strafrecht eine längere Verjährungsfrist vorsieht, so ist diese Frist massgebend (Art. 25 Abs. 2 ATSG). Im Fall einer strafbaren Handlung ist auf die Verfolgungsverjährung abzustellen (vgl. BGE 138 V 74 E. 5.2 S. 79; Urteil 9C_388/2018 vom 29. Oktober 2018 E. 4); diese erstreckt sich bei Betrug auf 15 Jahre (Art. 146 i.V.m. Art. 97 Abs. 1 lit. b StGB).
1.4. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Unter Berücksichtigung der Begründungspflicht (Art. 42 Abs. 1 und 2 BGG) prüft es nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (BGE 141 V 234 E. 1 S. 236; 138 I 274 E. 1.6 S. 280).
2.
2.1. Die Vorinstanz hat auf die mit Urteil 6B_14/2018 vom 8. März 2019 erfolgte Erledigung des Strafverfahrens verwiesen, die Rückforderung als rechtzeitig erachtet und deren Höhe bestätigt.
2.2. Der Beschwerdeführer macht im Wesentlichen geltend, die Urteile 6B_304/2011 vom 24. November 2011, 9C_599/2016 vom 29. März 2017 und 6B_14/2018 vom 8. März 2019 hätten auf den Ergebnissen einer Observation beruht, die (entsprechend dem Urteil des EGMR vom 18. Oktober 2016 in Sachen Vukota-Bojic gegen die Schweiz [61838/10]) mangels gesetzlicher Grundlage EMRK-widrig gewesen sei. Deswegen sei betreffend das Urteil 9C_599/2016 vom 29. März 2017 ein Verfahren beim EGMR hängig, und er beabsichtige auch das Urteil 6B_14/2018 vom 8. März 2019 dort anzufechten. Über die rückwirkende Leistungseinstellung und den unrechtmässigen Leistungsbezug sei somit noch nicht endgültig entschieden. Das bundesgerichtliche Verfahren müsse sistiert werden, bis das resp. die EGMR-Verfahren rechtskräftig abgeschlossen sei (en). Wenn die Beweisgrundlage für den Betrugsvorwurf entfalle, gelte für die Rückforderung eine absolute Frist von fünf Jahren, die längst abgelaufen sei. Der Beschwerdeführer nimmt insbesondere an, infolge einer EMRK-Beschwerde würden die Urteile des Bundesgerichts "in der Schwebe verharren", und dieses könne die Strafbarkeit seines Verhaltens im vorliegenden Verfahren erneut beurteilen.
2.3. Die EMRK-Beschwerde und die Revision (vgl. E. 1.2) dienen nicht der Weiterführung des ordentlichen Instanzenzugs. Vielmehr handelt es sich um ausserordentliche Rechtsmittel, die den Eintritt der Rechtskraft eines bundesgerichtlichen Urteils nicht hindern (vgl. Art. 61 BGG; RHINOW/KOLLER/KISS/THURNHERR/BRÜHL-MOSER, Öffentliches Prozessrecht, 3. Aufl. 2014, S. 201 Rz. 669 ff.; KIENER/RÜTSCHE/KUHN, Öffentliches Verfahrensrecht, 2. Aufl. 2015, S. 37 f. Rz. 133 ff.). Die Möglichkeit, dass die Rechtskraft eines bundesgerichtlichen Urteils dereinst im Rahmen einer Revision nach Art. 122 BGG beseitigt werden könnte, ändert daran nichts. Der Ausgang eines gegenwärtig beim EGMR hängigen Verfahrens stellt denn auch in Bezug auf den hier angefochtenen Entscheid ein echtes Novum dar, das in diesem Verfahren unzulässig ist (Art. 99 Abs. 1 BGG; BGE 143 V 19 E. 1.2 S. 22 f.; 140 V 543 E. 3.2.2.2 S. 548). Es besteht somit kein Anlass, den Prozess auszusetzen.
2.4. Das Bundesgericht beantwortete die entscheidenden Fragen nach der Unrechtmässigkeit des Leistungsbezugs (resp. rückwirkenden Rentenaufhebung) und nach der strafrechtlichen Qualifikation des Verhaltens des Beschwerdeführers in diesem Zusammenhang bereits in den Urteilen 9C_599/2016 vom 29. März 2017 und 6B_14/2018 vom 8. März 2019 abschliessend. Diesbezüglich handelt es sich um (rechtskräftig) abgeurteilte Sachen (res iudicatae; vgl. BGE 144 I 11 E. 4.2 S. 13 f.; 142 III 210 E. 2.1 S. 212; Urteil 9C_861/2017 vom 14. Mai 2019 E. 3.1), die weder im kantonalen noch in diesem Verfahren erneut überprüft werden konnten resp. können. Abgesehen vom Hinweis, dass Beweismittel, die ohne ausreichende gesetzliche Grundlage erhoben wurden, weder im straf- noch im sozialversicherungsrechtlichen Verfahren von vornherein unverwertbar sind (vgl. Urteil 6B_14/2018 vom 8. März 2019 E. 2.6.4; BGE 143 I 377 E. 5 S. 385), erübrigen sich diesbezügliche Weiterungen. Dass die Rückerstattungspflicht aus einem anderen Grund entfallen soll (vgl. E. 1.3), wird nicht geltend gemacht und ist auch nicht ersichtlich. Die Beschwerde ist unbegründet.
3.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Kosten zu tragen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Das Gesuch um Sistierung des Verfahrens wird abgewiesen.
2.
Die Beschwerde wird abgewiesen.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 25. September 2019
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Pfiffner
Die Gerichtsschreiberin: Dormann