Sachverhalt: A. Der 1968 geborene A._ bezog ab 1. Oktober 1997 eine ganze Invalidenrente. Nach zwischenzeitlichem Wohnsitz in Mazedonien kehrte er am 30. September 2015 in die Schweiz zurück. Zwischen dem 17. November und dem 20. Dezember 2016 und am 28. März 2017 wurde er überwacht. In der Folge leitete die IV-Stelle Schaffhausen eine Rentenrevision ein, liess den Versicherten durch die PMEDA, Polydisziplinäre Medizinische Abklärungen, begutachten (Expertise vom 6. März 2018; ergänzende Stellungnahme vom 15. Mai 2018) und hob die bisherige ganze Invalidenrente mit Verfügung vom 11. Dezember 2018 auf. B. Die hiergegen erhobene Beschwerde wies das Obergericht des Kantons Schaffhausen mit Entscheid vom 25. August 2020 ab. C. A._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten die Weiterausrichtung der bisherigen Invalidenrente unter Aufhebung des angefochtenen Entscheids beantragen. Eventualiter sei die Sache zur Neubeurteilung an das kantonale Gericht zurückzuweisen.