Sachverhalt:
A.
Der 1967 geborene A._ war zuletzt als Bohrmaschinist erwerbstätig gewesen, als er sich im Mai 2002 unter Hinweis auf einen am 30. Oktober 2001 erlittenen Verkehrsunfall bei der Invalidenversicherung zum Leistungsbezug anmeldete. Nach medizinischen und erwerblichen Abklärungen sprach die IV-Stelle des Kantons Graubünden ihm mit Verfügung vom 17. Februar 2006 bei einem Invaliditätsgrad von 100 % rückwirkend ab 1. Oktober 2002 eine ganze Rente der Invalidenversicherung zu. Während die laufende Rente in einem ersten Revisionsverfahren bestätigt wurde, liess die IV-Stelle den Versicherten in einem weiteren Revisionsverfahren durch die B._ GmbH observieren. Daraufhin holte die IV-Stelle bei der IME (Interdisziplinäre Medizinische Expertisen) ein bidisziplinäres (orthopädisch/neurologisches) Gutachten ein und stellte ihre Rentenzahlungen am 25. Oktober 2017 per sofort vorsorglich ein. Nach Vorliegen der Expertise des IME vom 11. August 2017 und des Ergänzungsgutachtens vom 17. November 2018 hob die IV-Stelle die Rente mit Verfügung vom 25. März 2019 rückwirkend per 28. Februar 2017 auf und forderte gleichentags einen Betrag von Fr. 20'360.- für zwischen dem 1. März und 31. Oktober 2017 zu Unrecht bezogene Rentenleistungen zurück.
B.
Die von A._ hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden mit Urteil vom 28. April 2020 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt A._, die IV-Stelle sei unter Aufhebung des kantonalen Gerichtsentscheides zu verpflichten, unter Entfernung des Observationsmaterials aus den Akten seine Rente weiterhin auszurichten, eventuell sei die Sache zur Einholung eines medizinischen Gutachtens an die Vorinstanz oder an die Beschwerdegegnerin zurückzuweisen.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 und 2 BGG; <ref-ruling> E. 2.2.1). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
2.
Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, als sie die Aufhebung der ganzen Invalidenrente per 28. Februar 2017 bestätigte.
3.
3.1. Der Anspruch auf Leistungen der Invalidenversicherung setzt unter anderem voraus, dass die versicherte Person invalid oder von Invalidität unmittelbar bedroht ist. Invalidität ist gemäss <ref-law> die voraussichtlich bleibende oder längere Zeit dauernde ganze oder teilweise Erwerbsunfähigkeit.
3.2. Ändert sich der Invaliditätsgrad einer Rentenbezügerin oder eines Rentenbezügers erheblich, so wird die Rente nach <ref-law> von Amtes wegen oder auf Gesuch hin für die Zukunft entsprechend erhöht, herabgesetzt oder aufgehoben (sog. "Rentenrevision").
Eine Rentenherabsetzung oder Aufhebung im Sinne von <ref-law> setzt eine anspruchserhebliche Änderung der tatsächlichen Verhältnisse voraus, welche entweder in einer objektiven Verbesserung des Gesundheitszustandes mit entsprechend gesteigerter Arbeitsfähigkeit oder in geänderten erwerblichen Auswirkungen einer im Wesentlichen gleich gebliebenen Gesundheitsbeeinträchtigung liegen kann. Demgegenüber stellt eine bloss abweichende Beurteilung eines im Wesentlichen gleich gebliebenen Sachverhaltes keine revisionsrechtlich relevante Änderung dar (<ref-ruling> E. 2b unten; in <ref-ruling> nicht publizierte E. 3.2 des Urteils 8C_972/2009, publiziert in: SVR 2011 IV Nr. 1 S. 1 mit Hinweis).
4.
Das kantonale Gericht hat unter Bezugnahme auf die Ergebnisse einer Observation des Beschwerdeführers erwogen, sein Gesundheitszustand habe sich seit der Rentenzusprache erheblich verbessert und er sei nunmehr in der Lage, einer seinem Leiden angepassten Tätigkeit zu 100 % nachzugehen.
4.1. Der Beschwerdeführer macht zunächst geltend, das Ergebnis der Observation dürfe ihm nicht entgegengehalten werden. In der Tat erfolgte die Observation ohne hinreichende gesetzliche Grundlage und damit grundsätzlich rechtswidrig (<ref-ruling> E. 4). Indessen ist nach demselben Urteil das Beweismaterial, das im Rahmen einer rechtswidrig angeordneten Observation im öffentlich frei einsehbaren Raum gewonnen wurde, im Invalidenversicherungsverfahren gestützt auf eine Interessenabwägung zwischen privaten und öffentlichen Interessen verwertbar (<ref-ruling> E. 5.1.1). Dies gilt rechtsprechungsgemäss unabhängig von der Frage, ob die Observation objektiv geboten war oder nicht (vgl. Urteile 9C_561/2018 vom 8. Februar 2019 E. 5.2.2; 8C_244/2019 vom 4. Juli 2019 E. 5.1 und 9C_308/2019 vom 16. Dezember 2019 E. 2.1). Im Lichte dieser Rechtsprechung muss die vom Beschwerdeführer aufgeworfene Frage, aufgrund welcher Erwägungen die Beschwerdegegnerin eine Observation in Auftrag gegeben hat, nicht näher geprüft werden. Weiter stellt der Umstand, dass die Beschwerdegegnerin den Ermittler darüber informierte, dass der Versicherte am 7. Juli 2017 einen Termin in St. Gallen wahrzunehmen habe, keinen Grund dar, welcher zu einem absoluten Verwertungsverbot des Observationsergebnisses führen würde. Somit hat das kantonale Gericht nicht gegen Bundesrecht verstossen, als es aufgrund einer dieser Rechtsprechung entsprechenden Interessenabwägung zum Schluss kam, das Observationsergebnis dürfe bei der Feststellung des Sachverhaltes mitberücksichtigt werden.
4.2. Soweit der Beschwerdeführer weiter geltend macht, selbst bei einer Berücksichtigung des Observationsergebnisses sei kein Revisionsgrund ausgewiesen, da sich die Vorinstanz auf eine bloss abweichende Beurteilung eines im Wesentlichen gleich gebliebenen Sachverhaltes stützen würde, ist Folgendes festzuhalten: Gemäss den verbindlichen vorinstanzlichen Feststellungen ist beim Versicherten von einer - früher nicht gezeigten - bewusstseinsnahen Aggravation auszugehen, welche nicht auf eine verselbständigte krankheitswertige Störung zurückzuführen ist. Der Beschwerdeführer bringt nichts vor, was diese Feststellungen bundesrechtswidrig erscheinen lassen würden. Damit ist rechtsprechungsgemäss ein Revisionsgrund im Sinne von <ref-law> ausgewiesen (vgl. Urteile 8C_825/2018 vom 6. März 2019 E. 6.1 und 9C_602/2016 vom 14. Dezember 2016 E. 5.2.2).
4.3. Durfte die Vorinstanz somit - ohne damit Bundesrecht zu verletzen - bei Bejahung eines Revisionsgrundes den Rentenanspruch unter Mitberücksichtigung des Observationsergebnisses neu prüfen, so ist bei einer 100 %igen Arbeitsfähigkeit in einer angepassten Tätigkeit und Vorliegen einer Meldepflichtverletzung die Rentenaufhebung rückwirkend auf den 1. März 2017 nicht zu beanstanden. Die offensichtlich unbegründete Beschwerde ist im Verfahren nach <ref-law> abzuweisen.
5.
Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Graubünden, 3. Kammer als Versicherungsgericht, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 26. Mai 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Der Gerichtsschreiber: Nabold