Sachverhalt:
A.
Der 1968 geborene A._ bezog ab 1. Oktober 1997 eine ganze Invalidenrente. Nach zwischenzeitlichem Wohnsitz in Mazedonien kehrte er am 30. September 2015 in die Schweiz zurück. Zwischen dem 17. November und dem 20. Dezember 2016 und am 28. März 2017 wurde er überwacht. In der Folge leitete die IV-Stelle Schaffhausen eine Rentenrevision ein, liess den Versicherten durch die PMEDA, Polydisziplinäre Medizinische Abklärungen, begutachten (Expertise vom 6. März 2018; ergänzende Stellungnahme vom 15. Mai 2018) und hob die bisherige ganze Invalidenrente mit Verfügung vom 11. Dezember 2018 auf.
B.
Die hiergegen erhobene Beschwerde wies das Obergericht des Kantons Schaffhausen mit Entscheid vom 25. August 2020 ab.
C.
A._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten die Weiterausrichtung der bisherigen Invalidenrente unter Aufhebung des angefochtenen Entscheids beantragen. Eventualiter sei die Sache zur Neubeurteilung an das kantonale Gericht zurückzuweisen.
Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG; BGE 135 II 384 E. 2.2.1 S. 389). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG).
2.
Eine sachgerechte Anfechtung des angefochtenen Entscheids war möglich; es kann somit nicht von einer Verletzung der Begründungspflicht resp. des Anspruchs auf rechtliches Gehör gesprochen werden (vgl. BGE 142 III 433 E. 4.3.2 S. 436 mit Hinweisen).
3.
Die Vorinstanz hat einen fortdauernden Rentenanspruch verneint. Dabei ist sie unter anderem von der Verwertbarkeit der Observationsergebnisse ausgegangen, was bestritten wird.
4.
Auf die im angefochtenen Entscheid korrekt dargelegten Rechtsgrundlagen wird verwiesen.
5.
Der Beschwerdeführer rügt einzig, durch die Observation sei Art. 8 EMRK verletzt worden, weshalb nicht auf das PMEDA-Gutachten abgestellt werden könne.
Diesbezüglich scheint er zu verkennen, dass wohl die Unzulässigkeit der Überwachung und damit die Verletzung von Art. 8 EMRK ausser Frage stehen (angefochtener Entscheid E. 3.4. S. 6), dass daraus jedoch nicht zwingend auf eine Unverwertbarkeit des aus der Observation gewonnenen Beweismaterials zu schliessen ist (vgl. zum Ganzen: BGE 143 I 377). Inwiefern die Observationsergebnisse vorliegend nicht verwertbar sein sollen, ist nicht ersichtlich und wird im Übrigen auch nicht substanziiert. Damit war auch das Abstellen auf das im Übrigen unbestritten beweiskräftige Administrativgutachten bundesrechtskonform.
6.
Die Beschwerde ist offensichtlich unbegründet, weshalb sie im vereinfachten Verfahren nach Art. 109 Abs. 2 lit. a BGG ohne Durchführung eines Schriftenwechsels, mit summarischer Begründung und unter Hinweis auf den kantonalen Gerichtsentscheid (Art. 109 Abs. 3 BGG) erledigt wird.
7.
Als unterliegende Partei hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 66 Abs. 1 Satz 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Obergericht des Kantons Schaffhausen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 2. Dezember 2020
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Nünlist