Sachverhalt:
A.
A.a. Mit Verfügung vom 27. Januar 2010 sprach die IV-Stelle des Kantons Solothurn dem 1965 geborenen, zuletzt als Dachdecker tätigen A._ im Wesentlichen gestützt auf das Gutachten der Ärztlichen Begutachtungsinstitut (ABI) GmbH, Basel, vom 12. Mai 2009 rückwirkend ab 1. Januar 2006 eine Dreiviertelsrente zu.
A.b. Die am 20. September 2011 aufgrund der Expertise der ABI vom 4. Januar 2011 verfügte revisionsweise Rentenherabsetzung auf eine Viertelsrente hob das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 16. Mai 2013 auf und wies die Angelegenheit zu weiteren medizinischen Abklärungen an die IV-Stelle zurück.
Die Verwaltung nahm in der Folge verschiedene Abklärungen vor, insbesondere liess sie A._ in der Swiss Medical Assessment- and Business-Center (SMAB) AG, Schweizerisches Zentrum für medizinische Abklärungen und Beratungen, Bern, fachärztlich beurteilen (Gutachten vom 15. Juli 2015) und hob nach Durchführung des Vorbescheidverfahrens die Rente rückwirkend ab 1. November 2011 auf (Verfügung vom 18. November 2016).
B.
Die dagegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 5. Juni 2018 teilweise gut. Es bestätigte die Rentenaufhebung ab 1. Mai 2014.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des angefochtenen Entscheids seien ihm rückwirkend ab Rentenaufhebung die bisherigen gesetzlichen Rentenleistungen nach Massgabe eines Invaliditätsgrads von 69 % zuzusprechen. Eventualiter sei die Sache betreffend Verwertbarkeit der Observationsunterlagen an die IV-Stelle zurückzuweisen. Subeventualiter sei die Angelegenheit zu ergänzenden medizinischen und beruflich-konkreten Abklärungen an die Vorinstanz zurückzuweisen. Subsubeventualiter sei ihm eine Viertelsrente zuzusprechen. Ferner sei das Observationsmaterial und das in der Folge erstellte Gutachten der SMAB aus den IV-Akten zu weisen. Das gleichzeitig gestellte Gesuch um Gewährung der unentgeltlichen Rechtspflege und Rechtsverbeiständung zog A._ am 3. Dezember 2018 zurück.
Das kantonale Gericht, die IV-Stelle und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.
Erwägungen:
1.
1.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG), die Feststellung des Sachverhalts nur, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
1.2. Das Bundesgericht prüft unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht - vorbehältlich offensichtlicher Fehler - nur die in seinem Verfahren geltend gemachten Rechtswidrigkeiten (BGE 133 II 249 E. 1.4.1 S. 254). Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (BGE 135 II 384 E. 2.2.1 S. 389; siehe auch BGE 134 III 102 E. 1.1 S. 104 f.).
1.3. Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person sind grundsätzlich Entscheidungen über eine Tatfrage (BGE 132 V 393 E. 3.2 S. 397 ff.), die das Bundesgericht seiner Urteilsfindung zugrunde zu legen hat (Art. 105 Abs. 1 BGG). Die Frage, ob sich eine Arbeits (un) fähigkeit in einem bestimmten Zeitraum in einem revisionsrechtlich relevanten Sinne verändert hat, ist ebenso Tatfrage (z.B. Urteil 9C_989/2012 vom 5. September 2013 E. 2 mit Hinweis) wie auch die konkrete Beweiswürdigung. Dagegen sind die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach Art. 61 lit. c ATSG Rechtsfragen (BGE 132 V 393 E. 3.2 und 4 S. 397 ff.), die das Bundesgericht frei überprüfen kann (Art. 106 Abs. 1 BGG).
2.
2.1. Strittig ist, ob die Vorinstanz Bundesrecht verletzte, indem sie die von der Beschwerdegegnerin am 18. November 2016 verfügte Rentenaufhebung in Bezug auf den Zeitraum ab 1. Mai 2014 bestätigte.
2.2. Im angefochtenen Entscheid werden die massgeblichen Rechtsgrundlagen zutreffend dargelegt. Es betrifft dies insbesondere die Bestimmungen und Grundsätze zur Rentenrevision (Art. 17 Abs. 1 ATSG; vgl. BGE 135 V 201 E. 5.2 S. 205; 134 V 131 E. 3 S. 132 f.; 133 V 545 E. 6 S. 546 ff. und E. 7 S. 548 f.; 130 V 343 E. 3.5 S. 349 f.) und zum Beweiswert sowie zur Beweiswürdigung ärztlicher Berichte und Gutachten (BGE 134 V 231 E. 5.1 S. 232 mit Hinweis). Darauf wird verwiesen.
3.
3.1. Das kantonale Gericht setzte sich zunächst mit der Verwertbarkeit der Erkenntnisse der Observation auseinander. Es erwog in diesem Zusammenhang u.a., es habe für deren Anordnung ein hinreichender Anfangsverdacht bestanden, dies insbesondere aufgrund der anonymen Meldung vom 9. Juli 2010. Zudem überwiege das Interesse der Verwaltung auf diese Erkenntnisse abzustellen jenes des Beschwerdeführers. Die Überwachungsunterlagen dürften daher miteinbezogen werden. Gemäss Vorinstanz ist das SMAB-Gutachten vom 15. Juli 2015 nachvollziehbar und beweiskräftig. Auf die aus psychiatrischer Sicht attestierte Arbeitsfähigkeitsschätzung stellte sie aber nach einer Prüfung der Standardindikatoren (BGE 143 V 409, 141 V 281) nicht ab, sondern schloss auf eine uneingeschränkte Arbeitsfähigkeit in einer angepassten Tätigkeit. Eine in revisionsrechtlicher Hinsicht relevante Verbesserung des Gesundheitszustandes des Beschwerdeführers erkannte das kantonale Gericht schliesslich insofern, als betreffend die Schultern keine wesentlichen Einschränkungen mehr objektiviert werden könnten, was nach der Operation vom 18. Oktober 2013 eingetreten sei. Unter Verweis auf die Stellungnahme der Dr. med. B._, Fachärztin für Neurologie, Regionaler Ärztlicher Dienst (RAD), vom 15. November 2016 hielt die Vorinstanz weiter fest, dass das MRI vom 17. Oktober 2016 und der Bericht des Dr. med. C._, Facharzt für Orthopädische Chirurgie und Traumatologie des Bewegungsapparates, vom 2. November 2016 im Vergleich zum SMAB-Gutachten vom 15. Juli 2015 insgesamt keine relevante Verschlechterung aufzeige, weshalb weiterhin auf Letzteres abgestellt werden könne.
3.2. Der Beschwerdeführer bringt dagegen zunächst vor, das Observationsmaterial und das auf diesem ergangene Gutachten der SMAB unterliege einem absoluten Verwertungsverbot. Zudem hätte eine Interessenabwägung zur Verwertbarkeit dieser Unterlagen bereits im Vorbescheidverfahren erfolgen müssen, dass dies nicht geschehen sei, stelle eine schwere Verletzung des Anspruchs auf rechtliches Gehör dar und führe auch zu einem unfairen Verfahren. Im Übrigen habe für eine Überwachung auch kein hinreichend begründeter Anfangsverdacht vorgelegen. Der Beschwerdeführer bestreitet unter Verweis auf den Bericht des Dr. med. C._ vom 2. November 2016 ferner, dass eine Verbesserung seit der Rentenzusprache bis zum Erlass der streitigen Verfügung vom 18. November 2016 eingetreten sei. Zudem hätte in Achtung des Untersuchungsgrundsatzes die aktuelle Situation an den Schultern, der Hüfte und der Halswirbelsäule weiter abgeklärt werden müssen.
4.
Zunächst ist auf den Vorwurf des Beschwerdeführers einer Verletzung des rechtlichen Gehörs einzugehen. Er begründet dies damit, die Beschwerdegegnerin habe nicht bereits im Vorbescheidverfahren die Verwertbarkeit der Observationsergebnisse und des darauf basierenden Gutachtens anhand einer Interessenabwägung geprüft und er habe sich dazu auch nie äussern können.
Die Vorinstanz befasste sich mit diesem Vorbringen bereits und legte dazu dar, das Bundesgericht habe erst am 14. Juli 2017 mit BGE 143 I 377 - nach Erlass der streitigen Verfügung vom 18. November 2016 - entschieden, dass bei einer von der IV-Stelle angeordneten Überwachung betreffend Prüfung der Verwertbarkeit solcher Beweismittel eine Interessenabwägung zu erfolgen habe. Für die Beschwerdegegnerin habe daher kein Anlass bestanden, sich damit auseinanderzusetzen. Mit Blick darauf verneinte das kantonale Gericht eine Verletzung des rechtlichen Gehörs.
Der Beschwerdeführer zeigt nicht auf, inwiefern diese Erwägungen gegen Bundesrecht verstossen. Seine Argumentation erschöpft sich in einer Wiederholung des von ihm im vorinstanzlichen Verfahren Vorgetragenen, d.h. einer nicht zu hörenden appellatorischen Kritik (vgl. BGE 140 III 86 E. 2 S. 88; 134 II 244 E. 2.1 f. S. 245 f.; 134 V 53 E. 3.3 S. 60 und 133 IV 286 E. 1.4 S. 28). Im Übrigen überzeugen die vorinstanzlichen Ausführungen. Es bestand in Anbetracht der nach der Verfügung vom 18. November 2016 mit BGE 143 I 377 erfolgten Änderung der Rechtsprechung für die Vorinstanz kein Anlass, die Angelegenheit an die Beschwerdegegnerin zurückzuweisen, ist doch eine geänderte Rechtsprechung in hängigen Fällen ohne Weiteres anzuwenden (Urteil 9C_450/2015 vom 29. März 2016 E. 4.1 mit Hinweisen). Der Beschwerdeführer hatte zudem die Möglichkeit, sich im kantonalen Beschwerdeverfahren vor einer Instanz mit umfassender Kognition einzubringen. Davon machte er auch Gebrauch. Der Vorwurf in der Beschwerde, er habe nie die Möglichkeit gehabt, sich zu den gegenüberstehenden Interessen zu äussern, trifft somit nicht zu. Es liegt somit weder eine Verletzung des rechtlichen Gehörs vor noch ist der Grundsatz eines fairen Verfahrens verletzt worden.
5.
5.1. Die rechtlichen Ausführungen im angefochtenen Entscheid zur Verwertbarkeit von Beweismitteln aufgrund einer rechtswidrigen Überwachung, die im öffentlich frei einsehbaren Raum durchgeführt wurde, sind korrekt. Es besteht diesbezüglich - entgegen der vom Beschwerdeführer vertretenen Auffassung - kein absolutes Beweisverwertungsverbot. Vielmehr können solche in sozialversicherungsrechtlichen Verfahren grundsätzlich berücksichtigt werden, es sei denn, bei einer Abwägung der tangierten öffentlichen und privaten Interessen überwögen Letztere (BGE 143 I 377 E. 5 S. 385 ff.).
5.2. Die Rüge des Beschwerdeführers, es habe kein hinreichender Anfangsverdacht für die veranlasste Observation bestanden, ist ebenfalls unbegründet. Zwar kann die anonyme Mitteilung an die Beschwerdegegnerin vom 9. Juli 2010, wonach der Beschwerdeführer auf der Strasse demonstrativ hinke, aber auf der Baustelle herumspringe, nicht allein als ausschlaggebend für die am 13. August 2013 - d.h. über drei Jahre später - veranlasste Überwachung angesehen werden. Vielmehr hat der Suizidversuch des Beschwerdeführers vom 12. Juli 2013 Fragen aufgeworfen (vgl. Observationsbericht vom 1. Oktober 2013). Das in diesem Zusammenhang, insbesondere vom behandelnden Psychiater Dr. med. D._, im Bericht vom 19. Juli 2013 Dokumentierte zeigt ein widersprüchliches und nicht einleuchtendes Verhalten des Versicherten. Der Beschwerdeführer hat für das Ereignis eine Amnesie, aber die Tochter konnte ihn über das Geschehene aufklären. Für einen aussenstehenden Dritten präsentiert sich hier eine akute Gefährdungslage des Beschwerdeführers. Jedoch nahmen weder er noch seine Familie sofortige ärztliche Hilfe in Anspruch. Sie wandten sich zunächst an den Anwalt des Beschwerdeführers und erst anschliessend erfolgte am 19. Juli 2013 - mithin erst eine Woche nach dem Suizidversuch - eine Konsultation beim behandelnden Psychiater.
Vor dem Hintergrund, dass es in den Akten neben dem anonymen Hinweis vom 9. Juli 2010 und dem soeben Geschilderten noch weitere Anhaltspunkte für Inkonsistenzen gab, zu erwähnen ist insbesondere der im ABI-Gutachten vom 4. Januar 2011 dargelegte fragliche Leidensdruck bei Ausweitung und Aggravation der Beschwerden, bestand insgesamt ein hinreichender Anlass, das vom behandelnden Psychiater Berichtete anzuzweifeln und eine Überwachung zu veranlassen.
5.3. Die von der Vorinstanz durchgeführte Interessenabwägung wird vom Beschwerdeführer nicht beanstandet, weshalb auf Ausführungen dazu verzichtet werden kann (vgl. E. 1.2 hiervor) und es bei der Schlussfolgerung, die Überwachung und die weiteren darauf basierenden Beweismittel seien verwertbar, sein Bewenden hat. Der Antrag des Beschwerdeführers auf Entfernung des Observationsmaterials und weiterer hierauf ergangener Beweismittel aus den IV-Akten ist demgemäss abzuweisen.
6.
6.1. Das kantonale Gericht erachtete das Gutachten der SMAB vom 15. Juli 2015 als aktuell und beweiswertig. Gestützt darauf hat es wegen einer verbesserten Situation an den Schultern nach der operativen subacromialen Dekompression des linken Schultergelenks am 18. Oktober 2013 eine Rentenrevision durchgeführt und bei einer uneingeschränkten Arbeitsfähigkeit in einer angepassten Tätigkeit einen Anspruch auf eine Invalidenrente verneint.
Der Beschwerdeführer bringt dagegen vor, das SMAB-Gutachten sei im Verfügungszeitpunkt (18. November 2016) bereits 11⁄2 Jahre alt gewesen. Die Umstände hätten sich seither insofern verändert, als Dr. med. C._ im Bericht vom 2. November 2016 nun ein Impingementsyndrom und eine AC-Arthrose an der rechten Schulter sowie eine Coxarthrose links festgestellt habe. Mit Blick auf diese von Dr. med. C._ am 2. November 2016 berichtete Verschlechterung an der rechten Schulter sei keine dauerhafte Verbesserung ausgewiesen und eine Revision hätte nicht erfolgen dürfen. Angesichts des bildgebenden Befunds vom 17. Oktober 2016 einer breiten zirkulären Bandscheibenprotrusion sowie ventralen Spondylose der HWK 5/6 und 6/7 seien bei der vorinstanzlichen Feststellung, zur genaueren Klärung einer radikulären Symptomatik wären klinisch-neurologische Untersuchungen erforderlich, solche zu veranlassen gewesen.
6.2. Der Beweiswert des SMAB-Gutachtens vom 15. Juli 2015 wird vom Beschwerdeführer in Bezug auf die Situation, wie sie sich den Gutachtern präsentierte, nicht in Frage gestellt, weshalb diesbezüglich auf das von der Vorinstanz dazu Erwogene verwiesen werden kann. Zu prüfen ist aufgrund der Vorbringen des Beschwerdeführers aber, ob der Bericht des Dr. med. C._ vom 2. November 2016 und/ oder der MRI-Befundbericht vom 17. Oktober 2016 eine relevante gesundheitliche Verschlechterung bis zur Verfügung vom 18. November 2016 zeigen.
6.2.1. Es ist nicht zu beanstanden, dass die Vorinstanz aufgrund des MRI-Befundberichts vom 17. Oktober 2016 eine Verschlechterung im Sinne eines zervikalen radikulären Schmerzsyndroms nicht als ausgewiesen erachtete, setzt eine solche Diagnose gemäss der Stellungnahme der Neurologin des RAD Dr. med. B._ vom 15. November 2016 doch stets entsprechende klinische Symptome voraus. Solche präsentierten sich Dr. med. E._, Facharzt für Neurochirurgie, am 29. November 2016 aber gerade nicht. Er stellte klinisch einen unauffälligen Untersuchungsbefund im zervikothorakalen Gebiet fest und konnte keine Hinweise auf eine Myelopathie erheben.
6.2.2. Betreffend die Situation der rechten Schulter, wie sie Dr. med. C._ im Bericht vom 2. November 2016 dargelegt hat, verwies die Vorinstanz auf die Stellungnahme der RAD-Ärztin Dr. med. B._ vom 15. November 2016, wonach zwar mehr Beschwerden bestünden, dies aber die Einschätzung des orthopädischen Gutachters nicht in Frage zu stellen vermöge, da die Minderbelastbarkeit der Schultern von den Gutachtern bereits berücksichtigt worden sei und die von Dr. med. C._ geschilderten Beschwerden keine weiteren qualitativen Leistungseinschränkungen begründeten. Vor diesen Angaben ist die vorinstanzliche Sachverhaltsfeststellung, eine relevante Verschlechterung liege seit dem SMAB-Gutachten nicht vor, nicht offensichtlich unrichtig, und eine Verletzung des Untersuchungsgrundsatzes ist nicht ersichtlich.
6.2.3. Zu Recht rügt der Beschwerdeführer hingegen, dass im angefochtenen Entscheid Feststellungen zur von Dr. med. C._ im Bericht vom 2. November 2016 vermuteten beginnenden Coxarthrose links bei Impingementkonfiguration fehlen. Der Sachverhalt ist diesbezüglich zu ergänzen (Art. 105 Abs. 2 BGG). Aus den Akten ergibt sich, dass die RAD-Ärztin Dr. med. B._ zu diesem Beschwerdekomplex am 15. November 2016 Stellung nahm und bleibende Funktionseinschränkungen verneinte. Darauf kann abgestellt werden, ist doch auch den übrigen Akten - der Beschwerdeführer reichte im Verwaltungs- und kantonalen Gerichtsverfahren eine Vielzahl von Berichten ein - nicht zu entnehmen, dass die von Dr. med. C._ berichteten Hüftbeschwerden zu einer Einschränkung bei der Verrichtung einer körperlich leichten, wechselbelastenden Arbeit führen (vgl. Belastbarkeitsprofil gemäss SMAB-Gutachten). Der Sachverhalt ist daher auch in dieser Hinsicht hinreichend abgeklärt und der gutachterlichen Einschätzung ist Beweiswert beizumessen.
6.2.4. Zusammenfassend ist festzuhalten, dass der Bericht des Dr. med. C._ keine massgebliche Verschlechterung nach der Begutachtung in der SMAB belegt. Das vom Beschwerdeführer gegen die von der Vorinstanz durchgeführte Rentenrevision Vorgebrachte betreffend den Zustand der rechten Schulter verfängt daher bereits aus diesem Grund nicht. Zudem bejahte das kantonale Gericht eine Verbesserung auch an der linken Schulter. Indem der Beschwerdeführer lediglich auf Beschwerden an der rechten Schulter verweist, vermag er nicht aufzuzeigen, inwiefern die vorinstanzlichen Feststellungen im Ergebnis offensichtlich unrichtig oder sonstwie bundesrechtswidrig sind. Die Beschwerde ist auch in diesem Punkt unbegründet.
6.3. Der Beschwerdeführer rügt den von der Vorinstanz durchgeführten Einkommensvergleich nicht, und es ist diesbezüglich auch keine offensichtliche Fehlerhaftigkeit ersichtlich (E. 1.2 hiervor), weshalb es bei dem von der Vorinstanz Festgelegten sein Bewenden hat.
7.
Als unterliegende Partei hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 66 Abs. 1 Satz 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 23. Januar 2019
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Pfiffner
Die Gerichtsschreiberin: Möckli