Sachverhalt:
A.
A._, geboren 1966, führte seit 1993 die B._, als er sich am 10. August 2005 bei einem Kletterunfall eine Rückenverletzung zuzog, die zu einer inkompletten Paraplegie führte. Mit Verfügung vom 21. November 2006 sprach ihm die IV-Stelle Uri ab 1. August 2006 eine ganze Invalidenrente zu und bestätigte am 19. Februar 2008 und am 5. März 2013 einen unveränderten Rentenanspruch. Im Zuge eines von Amtes wegen eingeleiteten Revisionsverfahrens stellte sie fest, dass gemäss IK-Auszug seit 2013 deutlich höhere Einkommen verabgabt wurden als zuvor. Nach Erlass eines Vorbescheides vom 7. Mai 2020 verfügte die IV-Stelle am 29. Mai 2020 die Herabsetzung des Anspruchs auf eine Viertelsrente per 1. Juli 2020 sowie die Rückerstattungspflicht hinsichtlich der wegen Meldepflichtverletzung ab 1. Januar 2014 bis 27. April 2018 zu Unrecht ausgerichteten Rentenbetreffnisse.
B.
Die dagegen erhobene Beschwerde hiess das Obergericht des Kantons Uri mit Entscheid vom 19. Februar 2021 teilweise gut und stellte fest, dass lediglich die ab 7. Mai 2015 bis 27. April 2018 erbrachten Leistungen zurückzuerstatten seien.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Anträgen, es sei ihm auch über den 1. Juli 2020 hinaus eine ganze Rente zuzusprechen und es sei von der Rückforderung der bereits ausbezahlten Rentenbetreffnisse abzusehen.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG; <ref-ruling> E. 4).
2.
Streitig ist, ob die Vorinstanz Bundesrecht verletzte, indem sie die Herabsetzung des Rentenanspruchs auf eine Viertelsrente per 1. Juli 2020, eine Meldepflichtverletzung sowie die Rückerstattungspflicht der ab Mai 2015 bis April 2018 ausgerichteten Leistungen bestätigte. Zur Frage stehen dabei die erwerblichen Auswirkungen des unbestrittenerweise gleich gebliebenen Gesundheitszustandes.
3.
3.1. Das kantonale Gericht hat die Grundsätze zur Rentenrevision nach <ref-law>, zum Anspruch auf eine Invalidenrente (<ref-law>) sowie zur Ermittlung des Invaliditätsgrades nach der allgemeinen Methode des Einkommensvergleichs (<ref-law>) zutreffend dargelegt.
Zu ergänzen ist, dass der Rentenanspruch bei gegebenem Revisionsgrund praxisgemäss für den Zeitpunkt der Revisionsverfügung in rechtlicher und tatsächlicher Hinsicht umfassend ("allseitig") neu zu prüfen ist (<ref-ruling> E. 2.3). Zeitlicher Ausgangspunkt für die Beurteilung einer anspruchserheblichen Änderung des Invaliditätsgrades ist die letzte rechtskräftige Verfügung, welche auf einer materiellen Prüfung des Rentenanspruchs beruht (<ref-ruling> E. 3; <ref-ruling>; <ref-ruling>). Anzufügen ist des Weiteren, dass bei der Ermittlung des Invaliditätsgrades bei Selbstständigerwerbenden nicht allein auf den IK-Auszug abgestellt werden kann. Dies gilt namentich auch für formell Angestellte einer Gesellschaft wie angestellte Geschäftsführer oder Betriebsleiter, wenn ihnen faktisch die Stellung von Allein- oder Teilinhabern (beispielsweise einer Aktiengesellschaft) zukommt und sie massgebenden Einfluss auf den Geschäftsgang haben. Für die Beurteilung des sozialversicherungsrechtlichen Status ist nicht die zivilrechtliche, sondern die wirtschaftliche Stellung ausschlaggebend. Es handelt sich dabei oft um frühere Selbstständigerwerbende, die ihre Einzelfirma in eine AG, meist in eine Familien-AG unter Beteiligung der Ehepartner, Kinder oder anderer naher Verwandter, überführt haben. Zu berücksichtigen ist in diesen Fällen nicht allein der oft relativ bescheidene Lohn, den die betreffende Gesellschaft ihrem Angestellten ausrichtet, sondern vielmehr sind dem Versicherten auch die erwirtschafteten, aber nicht ausgeschütteten Gewinne der Gesellschaft anzurechnen (Urteile 8C_450/2020 vom 15. September 2020 E. 3.1; 8C_928/2015 vom 19. April 2016 E. 2.3.4; 9C_453/2014 vom 17. Februar 2015 E. 4.2; I 185/02 vom 29. Januar 2003 E. 3.1).
3.2. Hervorzuheben ist des Weiteren, dass die Rente nach <ref-law> insbesondere bei einer Einkommensverbesserung von mindestens Fr. 1500.- pro Jahr zu revidieren ist. Nach <ref-law> hat die versicherte Person für den Leistungsanpruch wesentliche Änderungen zu melden. Bei schuldhafter, das heisst bereits bei leicht fahrlässiger, Verletzung dieser Meldepflicht erfolgt eine allfällige Herabsetzung oder Aufhebung des Rentenanspruchs rückwirkend (<ref-law>; <ref-ruling> E. 2a; Urteil 9C_226/2011 vom 15. Juli 2011 E. 4.2.1, nicht publ. in: <ref-ruling>, aber in: SVR 2012 IV Nr. 12 S. 61; Urteile 8C_269/2020 vom 15. Februar 2021 E. 3.3; 8C_127/2013 vom 22. April 2013 E. 4.1).
3.3. Anzufügen bleibt schliesslich, dass unrechtmässig bezogene Leistungen gemäss <ref-law> zurückzuerstatten sind. Der Rückforderungsanspruch erlischt gemäss <ref-law> in der hier anwendbaren, bis 31. Dezember 2020 gültigen Fassung (vgl. die Übergangsbestimmung von Art. 83 der Änderung des ATSG vom 21. Juni 2019, AS 2020 5137, 5140) mit dem Ablauf eines Jahres, nachdem die Versicherungseinrichtung davon Kenntnis erhalten hat, spätestens aber mit dem Ablauf von fünf Jahren nach der Entrichtung der einzelnen Leistungen.
4.
4.1. Die Vorinstanz stellte fest, dass sich hinsichtlich des nach Eintritt der Gesundheitsschädigung erzielten Verdienstes (Invalideneinkommen) eine Verbesserung eingestellt habe, indem der Beschwerdeführer gemäss den IK-Einträgen seit 2014 ein Gehalt von Fr. 39'000.- beziehe statt wie zuvor Fr. 19'500.-. Ein Revisionsgrund war daher nach dem kantonalen Gericht gegeben. Auf den erwähnten Betrag stellte es auch beim Einkommensvergleich ab. Was den im Gesundheitsfall hypothetisch erzielbaren Lohn (Valideneinkommen) betraf, war nach der Vorinstanz entgegen den Einwänden des Beschwerdeführers auch weiterhin auf den bei der ursprünglichen Rentenverfügung vom 21. November 2006 herangezogenen (an die Lohnentwicklung angepassten) Verdienst von Fr. 65'000.- abzustellen. Dem vom Beschwerdeführer unter Hinweis auf die in den Jahren 2014 bis 2019 erreichten Betriebsergebnisse von durchschnittlich rund Fr. 600'000.- geltend gemachten Einwand, es sei von einem deutlich höheren Valideneinkommen auszugehen, vermochte die Vorinstanz nicht zu folgen. Insbesondere könne nicht auf die Angaben des Treuhandbüros des Beschwerdeführers abgestellt werden, wonach der Lohn eines Geschäftsführers in dessen Betrieb auf Fr. 120'000.- bis Fr. 150'000.- festzusetzen wäre. Aus dem Vergleich der beiden Einkommen ergab sich ab der Erhöhung des im IK ausgewiesenen Invalideneinkommens im Jahr 2014 ein Invaliditätsgrad zwischen 47 und 48 %.
4.2. Der Beschwerdeführer macht geltend, dass die B._ AG sich auch in den Jahren nach seinem Unfall äusserst gut entwickelt habe und ab dem Jahr 2013 Geschäftsergebnisse von jährlich zwischen Fr. 273'412.- und Fr. 613'770.- erwirtschaftet habe. Dieser sensationelle Unternehmenserfolg sei hauptsächlich ihm als angestelltem Aktionär und Geschäftsführer zu verdanken. Die Steigerung der Unternehmensergebnisse habe dazu geführt, dass nach Arbeitgeberkontrollen durch die Sozialversicherungsstelle Uri und durch die Schweizerische Unfallversicherungsanstalt (Suva) im Jahr 2014 eine Anpassung seines im IK ausgewiesenen Lohnes als Geschäftsführer an die orts- und branchenüblichen Zahlen erfolgt sei. Gestützt darauf sei indessen auch auf eine entsprechend gute Validenkarriere zu schliessen. Es hätte deshalb nicht nur die Verdoppelung des Lohnes auf der Seite des Invalideneinkommens berücksichtigt werden dürfen. Es wird beantragt, dass auch das von der Vorinstanz für das Jahr 2014 ermittelte Valideneinkommen von Fr. 73'824.- zu verdoppeln, mithin ein Betrag von mindestens Fr. 147'648.- anzurechnen sei. Im Vergleich mit dem Invalideneinkommen von Fr. 39'000.- ergäbe sich ein Invaliditätsgrad von 73 %. Bestritten wird zudem die von der Vorinstanz festgestellte Meldepflichtverletzung.
5.
Nachdem der Rentenanspruch nach unbestrittenerweise gegebenem Revisionsgrund in Form von veränderten erwerblichen Verhältnissen umfassend neu zu prüfen ist, bedarf es einer Klärung des sozialversicherungsrechtlichen Status des Beschwerdeführers. Die Vorinstanz hat den Sachverhalt in dieser Hinsicht unvollständig und damit bundesrechtswidrig erhoben. Diesbezügliche Weiterungen erübrigen sich indessen im Einzelnen. Der Beschwerdeführer räumt mit seinen Vorbringen im bundesgerichtlichen Verfahren ein, dass die guten Geschäftsergebnisse auf seinen Einsatz als Geschäftsführer der B._ AG zurückgingen. Wäre er wirtschaftlich indessen (entgegen der impliziten vorinstanzlichen Annahme eines Angestelltenverhältnisses) als Selbstständigerwerbender zu qualifizieren, hätte dies Folgen für beide Vergleichseinkommen. Denn diesfalls müssten ihm nicht nur wie von ihm beantragt beim Validen-, sondern auch beim Invalideneinkommen praxisgemäss nebst dem in den IK-Auszügen ausgewiesenen respektive hochgerechneten Lohn vor allem auch die erzielten Geschäftsgewinne angerechnet werden. Diese beliefen sich gemäss den Angaben des Beschwerdeführers in den Jahren 2015 bis 2017 auf durchschnittlich rund Fr. 600'000.-. Inwieweit dem Beschwerdeführer dieser Betrag zusteht (gemäss Abklärungsbericht der IV-Stelle vom 3. September 2007 sind er und seine Ehegattin je zur Hälfte am Betrieb beteiligt), braucht nicht abschliessend geklärt zu werden. Hinzuzurechnen wäre das von der Vorinstanz gestützt auf den IK-Auszug festgestellte Einkommen von Fr. 39'000.-. Inwiefern angesichts des daraus insgesamt anzurechnenden beträchtlichen Invalideneinkommens ein im Gesundheitsfall hypothetisch zu erreichendes (Validen-) Einkommen bewiesen werden könnte beziehungsweise aus dem Vergleich ein Invaliditätsgrad resultierte, der die vorinstanzlich geschützte Herabsetzung des Anspruchs auf eine Viertelsrente ab 1. Juli 2020 als bundesrechtswidrig erscheinen liesse, ist nicht erkennbar. Wegen des Verbots der reformatio in peius (<ref-law>) kann das Bundesgericht den Beschwerdeführer indessen auch nicht schlechter stellen (Urteile 8C_402/2019 vom 14. Januar 2020 E. 4.1; 8C_150/2019 vom 19. August 2019 E. 6.3).
6.
Was die von der Vorinstanz festgestellte Meldepflichtverletzung betrifft, macht der Beschwerdeführer geltend, er habe in guten Treuen davon ausgehen dürfen, dass trotz der V erdoppelung seines Invalideneinkommens im Jahr 2014 auch weiterhin Anspruch auf die bisherige ganze Invalidenrente bestehe. Zudem habe er annehmen dürfen, dass die IV-Stelle von dem bei der Ausgleichskasse gemeldeten Verdienst Kenntnis erlange. Damit vermag der Beschwerdeführer indessen nicht durchzudringen. Inwiefern die Vorinstanz die massgeblichen Bestimmungen über die Meldepflicht (oben E. 3.2) verletzt haben sollte, ist nicht erkennbar. Gleiches gilt insoweit, als die Vorinstanz erkannte, die Beschwerdegegnerin habe die relative Verwirkungsfrist mit dem Erlass des Vorbescheides am 7. Mai 2020 und der damit zugleich festgestellten Unrechtmässigkeit des Leistungsbezuges im Zeitraum von Mai 2015 bis April 2018 gewahrt. Praxisgemäss ist es nicht bundesrechtswidrig, die nach <ref-law> erforderliche zuverlässige Kenntnis von der Rechtswidrigkeit des Leistungsbezuges sogar erst nach Eintritt der Rechtskraft der Rentenaufhebung anzunehmen (Urteil 9C_535/2017 vom 14. Dezember 2017 E. 2.3, nicht publ. in: <ref-ruling>, aber in: SVR 2018 IV Nr. 20 S. 63; Urteil 8C_642/2014 vom 23. März 2015 E. 3.2 mit Hinweisen).
7.
Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Obergericht des Kantons Uri, Verwaltungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 6. Oktober 2021
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Wirthlin
Die Gerichtsschreiberin: Durizzo