Sachverhalt:
A.
Die IV-Stelle Basel-Stadt sprach dem 1959 geborene A._ mit Verfügung vom 10. September 2009 ab 1. Oktober 2003 bis Ende Oktober 2009 eine ganze Invalidenrente zu. Am 11. Januar 2011 meldete sich A._ aufgrund einer gesundheitlichen Verschlechterung erneut bei der Invalidenversicherung an. Nach medizinischen und beruflichen Abklärungen gewährte ihm die IV-Stelle ab 1. Dezember 2011 wiederum eine ganze Invalidenrente (Verfügung vom 29. Juli 2013). Anlässlich eines im Dezember 2013 eingeleiteten Revisionsverfahrens nahm die IV-Stelle Einsicht in die Akten der Zürich Versicherungs-Gesellschaft AG als Lebensversicherer. Diese enthielten u. a. Unterlagen über die im Sommer/Herbst 2013 auf einen anonymen Hinweis hin durchgeführte Observation. Nach weiteren Abklärungen - insbesondere Einholung eines Gutachtens des Dr. med. B._, FMH Psychiatrie und Psychotherapie, vom 11. März und 12. Mai 2015 - stellte die IV-Stelle einen mindestens seit Dezember 2011 verbesserten Gesundheitszustand fest, der keine Arbeits- und Erwerbsunfähigkeit mehr begründe. Mit Verfügung vom 14. Juli 2017 hob sie die vorab mit Verfügung vom 26. Juni 2015 sistierte Rente rückwirkend auf 1. Dezember 2011 unter Entzug der aufschiebenden Wirkung einer allfälligen Beschwerde auf. Am 11. September 2017 verpflichtete sie A._ verfügungsweise, die im Zeitraum vom 1. Dezember 2011 bis 30. Juni 2015 unrechtmässig bezogenen Rentenbetreffnisse im Betrag von Fr. 106'712.- zurückzuerstatten.
B.
Die gegen die Verfügung vom 11. September 2017 erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Basel-Stadt mit Entscheid vom 25. April 2018 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, es sei die Nichtigkeit der Verfügung vom 11. September 2017 festzustellen; eventualiter seien der vorinstanzliche Entscheid und die Verfügung vom 11. September 2017 aufzuheben. Subeventualiter sei die Rückforderung um die bis zum 11. September 2012 erbrachten Leistungen zu reduzieren. Subsubeventualiter sei die Sache zur neuen Beurteilung an die Verwaltung oder die Vorinstanz zurückzuweisen.
Die IV-Stelle schiesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet.
Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 2 BGG).
2.
Unrechtmässig bezogene Leistungen sind zurückzuerstatten (Art. 25 Abs. 1 Satz 1 ATSG). Der Rückforderungsanspruch erlischt mit dem Ablauf eines Jahres, nachdem die Versicherungseinrichtung davon Kenntnis erhalten hat, spätestens aber mit dem Ablauf von fünf Jahren nach der Entrichtung der einzelnen Leistung. Wird der Rückerstattungsanspruch aus einer strafbaren Handlung hergeleitet, für welche das Strafrecht eine längere Verjährungsfrist vorsieht, so ist diese Frist massgebend (Art. 25 Abs. 2 ATSG).
3.
Im parallel geführten und ebenfalls mit Urteil vom heutigen Tag erledigten Verfahren 8C_579/2018 betreffend die rückwirkende Rentenaufhebung ab 1. Dezember 2011 hat das Bundesgericht deren Rechtmässigkeit aufgrund einer zumindest fahrlässigen Verletzung der Meldepflicht bestätigt (vgl. BGE 118 V 214 E. 2a S. 218; Urteil 9C_658/2015 vom 9. Mai 2016 E. 4.1). Nachdem die Anpassung der Rente infolge Verletzung der Meldepflicht unterblieb (vgl. Art. 31 ATSG), steht die Unrechtmässigkeit des weiteren Rentenbezugs fest. Aus der rückwirkenden Rentenaufhebung resultiert sodann die grundsätzliche Rückerstattungspflicht.
4.
4.1. Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, indem sie die Rückerstattungsverfügung in der Höhe von Fr. 106'712.- schützte.
4.2. Der Beschwerdeführer wiederholt seinen Einwand, die Verwaltungsverfügung vom 11. September 2017 sei nichtig, da sie vor Rechtskraft der Verfügung betreffend die rückwirkende Rentenaufhebung ergangen sei.
Im Zusammenhang mit der Rückforderung infolge einer Rentenaufhebung betrachtet das Bundesgericht in der Regel die Rechtskraft der Rentenaufhebung als fristauslösendes Moment für den Beginn der relativen einjährigen Verwirkungsfrist (Urteil 9C_535/2017 vom 14. Dezember 2017 E. 2.3 mit weiteren Hinweisen). Der Erlass des Vorbescheids gilt als fristwahrend (BGE 133 V 579 E. 4.3.1 S. 584; SVR 2011 IV Nr. 52 S. 155, 8C_699/2010 E. 2). Weshalb die Verwaltung nicht bereits ab jenem Tag hätte verfügen dürfen, an dem alle im konkreten Einzelfall erheblichen Umstände zugänglich sind, aus deren Kenntnis sich der Rückforderungsanspruch dem Grundsatz nach und in seinem Ausmass gegenüber einer bestimmten rückerstattungspflichtigen Person ergibt, ist nicht ersichtlich (Urteil 9C_195/2014 vom 3. September 2014 E. 2.1 in: SVR 2015 IV Nr. 5 S. 10 mit Hinweisen). Die Rückforderung ist rechtsprechungsgemäss nicht auf rechtskräftig festgelegte Leistungen beschränkt (Urteil 9C_34/2018 vom 4. Dezember 2018 E. 2.2). Die Regeln der Vollstreckbarkeit der Rückerstattungsverfügung werden damit nicht tangiert.
4.3. Anders als der Beschwerdeführer sodann behauptet, ist die Rückforderung auch nicht verjährt.
4.3.1. Die einjährige Verwirkungsfrist für die Rückforderung begann hier entgegen seiner Ansicht nicht bereits mit der Kenntnisnahme des Gutachtens des Dr. med. B._ vom 12. Mai 2015 zu laufen. Dieses allein genügte nicht zur Beurteilung des Rentenanspruchs im Hinblick auf die erst nach dieser Begutachtung eingetretenen gesundheitlichen Vorfälle. Diese bedingten ihrerseits weitere medizinische Abklärungen, um hinreichenden Aufschluss über deren rechtliche Relevanz hinsichtlich eines Anspruchs auf Invalidenrente zu erlangen (BGE 137 I 327 E. 7.1 S. 337; Urteil 8C_192/2017 vom 25. August 2017 E. 6.1.2). Die diesbezüglichen Feststellungen der Vorinstanz sind nicht zu beanstanden. Sie erachtete die letzte Stellungnahme des RAD zur gesundheitlichen Situation am 10. Juli 2017 und damit die Kenntnis des aktuellen Gesundheitszustandes als fristauslösend. Inwiefern das kantonale Gericht dadurch Bundesrecht verletzt haben soll, leuchtet nicht ein, zumal in der Regel die Rechtskraft der Rentenaufhebung als fristauslösendes Moment gilt (E. 4.2).
4.3.2. Hinsichtlich der absoluten Verwirkungsfrist führte die Vorinstanz aus, durch den Umstand, dass der Versicherte seine Meldepflicht schuldhaft verletzt habe, sei die Erfüllung des Straftatbestands von Art. 87 Abs. 5 AHVG in Verbindung mit Art. 70 IVG allenfalls erfüllt. Diesfalls käme die längere Verwirkungsfrist von sieben Jahren zur Anwendung (Art. 25 Abs. 2 Satz 2 ATSG; Art. 97 Abs. 1 lit. d StGB.
4.3.3. Ist die Strafverfolgung aufgenommen und bereits rechtskräftig (mit Urteil oder Einstellungsverfügung) abgeschlossen worden, so ist die über den Rückforderungsanspruch befindende Behörde an diesen Entscheid der Straf (verfolgungs) behörde gebunden. Fehlt es indessen an einem solchen Entscheid, haben die Verwaltung und gegebenenfalls das Sozialversicherungsgericht - sofern das Verfahren nicht bis zum Vorliegen eines strafrechtlichen Entscheids ausgesetzt wird - vorfrageweise selbst darüber zu befinden, ob sich die Rückforderung aus einer strafbaren Handlung herleitet und der Täter dafür strafbar wäre. Dabei gelten die gleichen beweisrechtlichen Anforderungen wie im Strafverfahren, so dass der sonst im Sozialversicherungsrecht geltende Beweisgrad der überwiegenden Wahrscheinlichkeit nicht ausreicht; zudem gilt die Unschuldsvermutung. Auf jeden Fall hat die Behörde, die sich auf die strafrechtliche Verjährungsfrist beruft, Aktenmaterial zu produzieren, welches das strafbare Verhalten hinreichend ausweist. Erforderlich ist, dass eine objektiv strafbare Handlung vorliegt und dass die auf Rückerstattung belangte Person resp. deren Organ die strafbare Handlung begangen hat und die subjektiven Strafbarkeitsvoraussetzungen erfüllt (BGE 138 V 74 E. 6.1 S. 80 mit Hinweisen).
4.3.4. Eine Anzeige an die Strafbehörden ist nicht aktenkundig. Die IV-Stelle liess in ihrer Vernehmlassung vor kantonalem Gericht ein strafrechtliches Vorgehen ihrerseits offen. Somit hat es die Vorinstanz grundsätzlich versäumt, im Rahmen einer Vorfrage darüber zu befinden, ob die Rückerstattung durch eine strafbare Handlung des Versicherten im Sinne der Meldepflichtverletzung begründet ist (Art. 87 Abs. 6 [bis 31. Dezember 2017: Abs. 5] und 9 AHVG in Verbindung mit Art. 70 IVG). Die entsprechende Verfolgungsverjährung (vgl. BGE 138 V 74 E. 5.2 S. 79) beträgt sieben Jahre (Art. 97 Abs. 1 lit. d StGB). Namentlich zur subjektiven Straftatbestandserfüllung (Art. 12 StGB) traf das kantonale Gericht keine strafrechtlich relevanten Feststellungen.
4.3.5. Da jedoch für die relative und die absolute Verwirkungsfrist der Erlass des Vorbescheids als fristwahrend gilt (SVR 2011 IV Nr. 52, 8C_699/2010, E. 2; Urteil 8C_718/2016 vom 21. August 2017 E. 5.3) und der Fristenlauf frühestens mit der tatsächlichen Ausrichtung der unrechtmässigen Leistung beginnt (BGE 112 V 180 E. 4a; SVR 2012 IV Nr. 33, 9C_363/2010, E. 2.1; SVR 2010 EL Nr. 12, 9C_795/2009 E. 4.2; Urteil 9C_473/2012 vom 9. November 2012, E. 3), sind auch die mit Verfügung vom 29. Juli 2013 ausgerichteten Leistungen (für die Zeit vom 1. Dezember 2011 bis 31. Juli 2013) selbst bei einer bloss fünfjährigen absoluten Verwirkungsfrist zurückzuerstatten, nachdem der Vorbescheid vom 27. September 2016 datiert (10/5/249). Ist für den gesamten Rückerstattungsanspruch in der Höhe von Fr. 106'712.- die kürzere fünfjährige Verwirkungsfrist gewahrt, braucht die Sache nicht an das kantonale Gericht zur Beurteilung eines strafrechtlich relevanten Handelns zurückgewiesen zu werden. Die Beschwerde ist unbegründet.
5.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Basel-Stadt und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 9. Januar 2019
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Polla