Sachverhalt:
A.
A.a.
Mit Verfügung vom 20. Dezember 2001 sprach die IV-Stelle des Kantons Zürich dem 1964 geborenen A._ eine ganze Invalidenrente ab 1. September 2000 zu, was sie anlässlich eines Revisionsverfahrens im Jahr 2003/2004 bestätigte. Im Rahmen des Verdachts auf Versicherungsbetrug hob die IV-Stelle die ganze Rente rückwirkend per 1. Juli 2004 auf (Verfügung vom 14. Juli 2008). Mit Rückerstattungsverfügung vom 30. Juli 2008 forderte sie die zu Unrecht bezogenen Leistungen ab Juli 2004 zurück, wie bereits im Vorbescheid vom 18. Februar 2008 angekündigt. Die gegen diese Verfügungen erhobenen Beschwerden hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 27. Februar 2009 in dem Sinne gut, dass es die Sache zu weiteren Abklärungen an die Verwaltung zurückwies. Ein Gesuch um Wiederherstellung der aufschiebenden Wirkung der Beschwerde respektive um vorsorgliche Weiterausrichtung der Rentenleistungen wies das Gericht ab. Nach weiteren medizinischen und berufsbezogenen Abklärungen sowie Beizug der Untersuchungsakten der Kantonspolizei Zürich hob die IV-Stelle - entsprechend dem Vorbescheid vom 10. Januar 2013 - mit Verfügung vom 26. Februar 2016 die bisherige Rente rückwirkend vom 1. Juli 2004 bis zur Sistierung auf. Diese rückwirkende Aufhebung der Rente bestätigte das Bundesgericht letztinstanzlich mit Urteil 8C_708/2017 vom 16. Mai 2018.
A.b. Am 14. Juni 2018 forderte die IV-Stelle für die Zeit vom 1. Juli 2004 bis 30. November 2007 zu Unrecht erhaltene Rentenbetreffnisse im Betrag von Fr. 162'513.- zurück.
B.
Die dagegen geführte Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich ab, soweit es darauf eintrat (Entscheid vom 31. Oktober 2018).
C.
Mit Einheitsbeschwerde (recte: Beschwerde in öffentlich-rechtlichen Angelegenheiten) lässt A._ beantragen, der vorinstanzliche Entscheid und die Rückforderungsverfügung seien aufzuheben.
Auf die Durchführung eines Schriftenwechsels wird verzichtet.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.
Mit Urteil 8C_708/2017 vom 16. Mai 2018 steht die Rechtmässigkeit der rückwirkenden Leistungseinstellung rechtskräftig fest. Nachdem zu Unrecht bezogene Rentenleistungen im Sinne von <ref-law> - vorbehältlich des Erlasses - grundsätzlich zurückzuerstatten sind, bleibt nunmehr einzig zu prüfen, ob die Vorinstanz die Rückforderungsverfügung vom 14. Juni 2018 auch unter dem Aspekt der Verwirkung der Rückerstattungsforderung (<ref-law>) schützen durfte.
3.
3.1. Der Rückforderungsanspruch erlischt mit dem Ablauf eines Jahres, nachdem die Versicherungseinrichtung davon Kenntnis erhalten hat, spätestens aber mit dem Ablauf von fünf Jahren nach der Entrichtung der einzelnen Leistung (<ref-law>).
3.2. Bei den Fristen nach <ref-law> handelt es sich um von Amtes wegen zu berücksichtigende Verwirkungsfristen (<ref-ruling> E. 3.2.2; <ref-ruling> E. 4.1; <ref-ruling> E. 4.1 S. 77 mit Hinweisen). Als solche können sie nicht unterbrochen, sondern nur gewahrt werden (<ref-ruling> E. 6; <ref-ruling> E. 5a). Wurde die Rückforderung einmal frist- und formgerecht geltend gemacht, ist die Frist zu ihrer Festsetzung ein für alle Mal gewahrt, und zwar selbst dann, wenn die entsprechende Verfügung nachträglich (durch eine Beschwerdeinstanz) aufgehoben und durch eine inhaltlich berichtigte neue ersetzt werden muss. Das spätere rechtliche Schicksal der Rückerstattungsverfügung spielt demnach keine Rolle. In solchen Fällen stellt sich die Frage der Verwirkung erst wieder bei der Vollstreckung, nachdem die Rückerstattungsforderung rechtskräftig geworden ist (Urteile 9C_778/2016 vom 12. Dezember 2017 E. 5.1 in: SVR 2018 KV Nr. 6 S. 30; 8C_616/2009 vom 14. Dezember 2009 E. 3.2 in: SVR 2010 ALV Nr. 4).
3.3. Im Zusammenhang mit der Rückforderung infolge einer Rentenaufhebung betrachtet das Bundesgericht in der Regel die Rechtskraft der Rentenaufhebung als fristauslösendes Moment für den Beginn der relativen einjährigen Verwirkungsfrist (Urteil 9C_535/2017 vom 14. Dezember 2017 E. 2.3, nicht publ. in: <ref-ruling>, aber in: SVR 2018 IV Nr. 20 S. 63). Die Verwaltung kann jedoch bereits ab jenem Tag verfügen, an dem alle im konkreten Einzelfall erheblichen Umstände zugänglich sind, aus deren Kenntnis sich der Rückforderungsanspruch dem Grundsatz nach und in seinem Ausmass gegenüber einer bestimmten rückerstattungspflichtigen Person ergibt (Urteil 9C_195/2014 vom 3. September 2014 E. 2.1 in: SVR 2015 IV Nr. 5 S. 10 mit Hinweisen).
4.
4.1. Wenn die Vorinstanz hier hinsichtlich des einjährigen Fristenlaufs festhielt, vor dem 5. oder 15. November 2007 (Eingang der Strafuntersuchungsakten der Staatsanwaltschaft bei der IV-Stelle) habe die einjährige relative Verwirkungsfrist (jedenfalls) noch nicht zu laufen begonnen, weshalb sie mit Rückerstattungsverfügung vom 30. Juli 2008 gewahrt sei, ist dies nicht zu beanstanden. Eine "unerträgliche Rechtsunsicherheit", wie der Beschwerdeführer einwendet, bringt diese Feststellung nicht mit sich. Das kantonale Gericht nannte damit nicht ein konkretes Datum für den Beginn des einjährigen Fristenlaufs, sondern schloss lediglich einen früheren Beginn aus, da mit anonymen Hinweisen und einem gestützt hierauf gestellten Strafantrag der IV-Stelle keine ausreichenden Kenntnisse für den Rückerstattungsanspruch vorgelegen seien. Dieser vorinstanzliche Schluss ist weder willkürlich noch sonstwie bundesrechtswidrig oder gar völkerrechtswidrig im Sinne der geltend gemachten Verletzung des Gebots des fairen Verfahrens (Art. 6 EMRK). Sämtliche Einwendungen hierzu sind - mit Blick auf die soeben erwähnte Rechtslage (E. 3 hiervor) - nicht stichhaltig, zumal erst dem Urteil des Bundesgerichts 8C_708/2017 vom 16. Mai 2018 fristauslösende Wirkung zukommt, wobei Verwirkungsfristen überdies nicht unterbrochen werden können, wie der Beschwerdeführer anzunehmen scheint.
4.2.
4.2.1. Im Invalidenversicherungsrecht gilt sodann sowohl für die relative einjährige als auch für die absolute fünfjährige Verwirkungsfrist der Erlass resp. die Zustellung eines Vorbescheids im Sinne von <ref-law> als fristwahrend (BGE <ref-ruling> E. 4.3.1 S. 584; Urteile 8C_699/2010 vom 8. Februar 2011 E. 2 in: SVR 2011 IV Nr. 52 S. 155; 8C_718/2016 vom 21. August 2017 E. 5.3). Die Frist von fünf Jahren beginnt frühestens mit der tatsächlichen Ausrichtung der unrechtmässigen Leistung zu laufen (<ref-ruling> E. 4a;, Urteile 9C_363/2010 vom 8. November 2011 E. 2.1 in: SVR 2012 IV Nr. 33 S. 131; 9C_795/2009 E. 4.2 vom 21. Juni 2010 in: SVR 2010 EL Nr. 12 S. 37; 9C_473/2012 vom 9. November 2012 E. 3 und 9C_34/2018 vom 4. Dezember 2018 E. 1.1).
4.2.2. Entgegen den Einwänden des Beschwerdeführers sah die IV-Stelle bereits mit Vorbescheid vom 18. Februar 2008 die Rückerstattung der in der Zeit vom 1. Juli 2004 bis 30. November 2007 geleisteten Rentenbetreffnisse vor, weshalb nicht erst der Vorbescheid vom 10. Januar 2013 als fristwahrend anzusehen ist (E. 3.2 und E. 4.2.1 hiervor). Für die einzelnen in diesem Zeitraum ausgerichteten Invalidenrenten ist daher die absolute Verwirkungsfrist selbst bei der Annahme einer bloss fünfjährigen Frist gewahrt, sodass die Vorinstanz nicht zu beurteilen brauchte, ob allenfalls eine längere strafrechtliche Frist zum Tragen käme. Inwiefern der angefochtene Entscheid vor Bundesrecht nicht standhalten sollte, wird in der Beschwerde nicht nachvollziehbar dargelegt und ergibt sich auch sonst nicht. Zusammenfassend sind beide Verwirkungsfristen des <ref-law> eingehalten worden, weshalb es beim vorinstanzlichen Entscheid sein Bewenden hat.
5.
Die Beschwerde ist offensichtlich unbegründet, weshalb sie im vereinfachten Verfahren nach <ref-law> ohne Durchführung eines Schriftenwechsels, mit summarischer Begründung und unter Hinweis auf die Erwägungen im angefochtenen Entscheid (<ref-law>) erledigt wird.
6.
Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 22. Januar 2019
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Polla