Sachverhalt:
A.
Mit Verfügung vom 29. März 2013 hob die IV-Stelle des Kantons Aargau die A._ seit dem 1. November 1997 ausgerichtete Rente rückwirkend per 1. August 2009 auf.
B.
Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 6. Dezember 2013 ab, soweit es darauf eintrat.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und die Abänderung der Verfügung vom 29. März 2013 und des vorinstanzlichen Entscheids dahingehend beantragen, dass die bisher ausgerichtete Invalidenrente erst mit Wirkung ab 31. Mai 2013, allenfalls 31. Mai 2012, aufzuheben sei; zudem sei die IV-Stelle zu verpflichten, von einer Rückforderung der Invalidenrenten für den Zeitraum vom 1. August 2009 bis 31. Dezember 2011 abzusehen. Eventualiter wird um Rückweisung an das kantonale Gericht zwecks Vornahme weiterer Sachverhaltsabklärungen und anschliessendem neuen Entscheid ersucht.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.6 S. 280 mit Hinweisen). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Das Bundesgericht kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG in Verbindung mit Art. 105 Abs. 2 BGG).
1.1. Rechtsfragen sind die vollständige Feststellung erheblicher Tatsachen sowie die Beachtung des Untersuchungsgrundsatzes bzw. der Beweiswürdigungsregeln nach Art. 61 lit. c ATSG. Die konkrete Beweiswürdigung, einschliesslich der antizipierten Schlussfolgerung, es bedürfe keiner weiteren Sachverhaltsabklärungen, ist hingegen Tatfrage (<ref-ruling> E. 5.2; nicht publ. E. 1.1.1 des Urteils <ref-ruling>, in: SVR 2012 BVG Nr. 11 S. 44 [9C_779/2010 vom 30. September 2011]; Art. 105 Abs. 2 BGG).
1.2. Eine Sachverhaltsfeststellung ist nicht schon dann offensichtlich unrichtig, wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist (<ref-ruling> E. 3.1 S. 44). Es liegt noch keine offensichtliche Unrichtigkeit vor, nur weil eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erschiene (vgl. <ref-ruling> E. 2.1 S. 9; <ref-ruling> E. 5a).
2.
Soweit der Beschwerdeführer um Anordnung eines Verzichts auf die Rückforderung bereits ausgerichteter Invalidenrenten ersucht und in diesem Zusammenhang eine teilweise Verwirkung des Anspruch geltend macht, hat bereits die Vorinstanz dargelegt, dass dies ausserhalb des durch die Verfügung vom 29. März 2013 bestimmten Streitgegenstandes liegt. Auf diesen Antrag und die dazu vorgetragene Begründung ist auch letztinstanzlich nicht einzutreten.
3.
Die von der IV-Stelle verfügte Rentenaufhebung wird insoweit in Frage gestellt, als sie rückwirkend und nicht lediglich pro futuro erfolgt ist.
3.1. Der Aufhebung der Rente pro futuro gemäss Art. 88bis Abs. 2 lit. a IVV liegt die ratio legis zugrunde, dass die versicherte Person nicht wegen einer rückwirkenden Reduktion oder Einstellung einer Invalidenrente Geldleistungen zurückzahlen soll, welche sie auf Grund eines rechtskräftigen Rentenentscheids gutgläubig bezogen hat. Zudem will ihr die Bestimmung Zeit zur Anpassung an die neuen finanziellen Verhältnisse geben (<ref-ruling> E. 6.2 S. 47). Eine rückwirkende Herabsetzung oder Aufhebung der Rente ist nach Art. 88bis Abs. 2 lit. b IVV zulässig, wenn die unrichtige Ausrichtung einer Leistung darauf zurückzuführen ist, dass der Bezüger sie unrechtmässig erwirkt hat oder der ihm gemäss Art. 77 IVV zumutbaren Meldepflicht nicht nachgekommen ist.
3.2. Das kantonale Gericht hat eine rückwirkende Rentenaufhebung per 1. August 2009 als gerechtfertigt erachtet, weil der IV-Stelle der Stellenantritt bei der Firma B._ und die damit eingetretene Einkommenserhöhung nicht gemeldet worden seien, was es als zumindest leicht fahrlässige Meldepflichtverletzung qualifizierte. Eine leichte Fahrlässigkeit reicht für eine rückwirkende Leistungseinstellung aus (<ref-ruling> E. 2a S. 218 m.H.).
Der im Rahmen des Vorbescheidverfahrens durch eigene Notizen unterlegten Behauptung, sich mit der damaligen Bezugsperson bei der IV-Stelle erstmals am 19. August 2009, später erneut am 12. November 2009 und am 28. September 2010 telefonisch über die auf Ende Juli 2013 befristete Tätigkeit bei der B._ unterhalten zu haben, hielt das kantonale Gericht das Fehlen entsprechender Notizen in den Akten der IV-Stelle entgegen: Während die ersten beiden behaupteten Unterredungen in den IV-Akten überhaupt nicht vermerkt seien, fände sich zwar eine Gesprächsnotiz vom 28. November 2010, indessen ohne die Tätigkeit bei der B._ aufzugreifen. Bezogen darauf, dass in dieser Notiz ein nicht in den Akten gelegenes Schreiben des Beschwerdeführers vom 16. Januar 2010 erwähnt ist, erklärte die Vorinstanz, dass dieses Datum vom Versicherten durchaus so habe erwähnt sein können, ohne dass deswegen direkt darauf geschlossen werden könne, ein Schreiben mit diesem Datum sei je im Besitz der IV-Stelle gewesen; dieser Beweis sei genau so wenig durch das im Vorbescheidverfahren eingereichte, auf den 28. September 2010 datierte, an die IV-Stelle adressierte, nicht signierte Schriftstück erbracht, fehle es doch an konkreten Anhaltspunkten für eine nicht ordnungsgemässe Aktenführung der IV-Stelle; abgesehen davon finde sich in den Akten das (ein ähnliches Datum aufweisende) Schreiben des Beschwerdeführers vom 6. Januar 2010, worin er aktenmässig erstmals erstellt um umgehende Einstellung der Rentenleistungen wegen verbesserter Einkommenssituation aus selbstständiger Erwerbstätigkeit sowie eines eine höhere Leistung erlaubenden Gesundheitszustands ersucht habe, ohne indessen zugleich auf die seit August 2009 ausgeübte Tätigkeit bei der B._ hinzuweisen. Das Gericht erwog weiter, es falle statt dessen auf, dass der Beschwerdeführer nicht nur gegenüber der IV-Stelle wiederholt vom Versuch "über die Runden zu kommen" oder sich ohne Rente "durchzuschlagen" sprach bzw. schrieb (dazu siehe etwa die Telefonnotiz der IV-Stelle vom 28. September 2010 oder die E-Mail des Beschwerdeführers an die IV-Stelle noch am 7. August 2012), sondern er gab anlässlich der medizinischen Untersuchung durch die MEDAS dieser gegenüber zudem an, sich aktuell bei einem Monatseinkommen von zwischen Fr. 3'000.- und Fr. 3'500.- finanziell durchzuschlagen (Expertise vom 16. April 2012, persönliche Anamnese); dies, obwohl er - wie sich für die IV-Stelle erst nachträglich herausstellte - bereits ab August 2009 tatsächlich ein Monatseinkommen von durchschnittlich über Fr. 10'000.- generierte; insgesamt entstehe der Eindruck, dass er - allenfalls auf Grund der mit der Befristung des Arbeitsvertrages verbundenen Unsicherheit über die Nachhaltigkeit der neuen Einkommensverhältnisse - die Beschwerdegegnerin über seine aktuell sehr guten Einkommensverhältnisse nicht vorbehaltlos informiert habe; dazu passe auch, dass er die Lohnausweise der B._ für die Jahre 2009 bis 2011 sowie eine Kopie des Anstellungsvertrags trotz wiederholter Aufforderung bis zum Erlass der Verfügung vom 29. März 2013 nicht eingereicht hatte.
4.
Wenn das kantonale Gericht angesichts dieser Umstände zur Auffassung gelangt ist, die Behauptung des Beschwerdeführers, die IV-Stelle über die Anstellung bei der B._ informiert zu haben, sei nicht mit der geforderten überwiegenden Wahrscheinlichkeit erstellt, lässt sich dies letztinstanzlich nicht beanstanden. Von einer offensichtlich unrichtigen Sachverhaltsfeststellung bzw. willkürlichen oder sonstwie rechtsfehlerhaften Beweiswürdigung nach Art. 95 BGG kann nicht ausgegangen werden:
4.1. Soweit der Beschwerdeführer der IV-Stelle in diesem Zusammenhang eine unvollständige und unzuverlässige Aktenführung vorwirft, ist zwar einzuräumen, dass diese nicht in allen Teilen mustergültig erscheint, sind darin doch die Akten nicht durchwegs chronologisch (im Januar 2010) nummeriert und trägt eine Aktennotiz über am 12. und 24. Februar 2010 geführte Telefongespräche den 13. April 2010 als Erstelldatum, was nichts mehr mit einer fortlaufend geführten, echtzeitlichen Erfassung gemein hat. Indessen ist darin nichts Entscheidwesentliches wiedergegeben. Auch ist richtig, dass in der Aktennotiz vom 28. September 2010 ein Schreiben des Beschwerdeführers vom 16. Januar 2010 Erwähnung findet. Indessen daraus zu schliessen, die vom Beschwerdeführer im Vorbescheidverfahren ins Recht gelegten, allesamt nicht in den Akten der IV-Stelle befindlichen Schriftstücke seien von dieser entweder nachträglich entfernt oder trotz Eingangs nicht ins Dossier aufgenommen worden, ist genau so wenig zwingend wie die Annahme, deshalb hätten die diversen von ihm geltend gemachten Telefongespräche trotz fehlender Aktenprotokolle darüber mit dem von ihm geltend gemachten Inhalt stattgefunden. Vielmehr würdigte die Vorinstanz nicht nur die in den IV-Akten liegenden Schriftstücke, darunter die Aktennotiz vom 28. September 2010, sondern wertete auch das Verhalten des Beschwerdeführers insbesondere im Zusammenhang mit der Begutachtung, worin er - wie auch bereits früher gegenüber der IV-Stelle - vom Versuch "über die Runden zu kommen" und sich ohne Rente "durchschlagen" zu wollen, berichtete - gegenüber der MEDAS gar von einem dabei verfügbaren durchschnittlichen monatlichen Arbeitsverdienst von Fr. 3'000.- bis Fr. 3'500.- sprach -, obwohl sich das Einkommen bereits seit August 2009 allein aus der Tätigkeit bei der B._ auf ein Mehrfaches davon belief.
4.2. Angesichts dessen, dass es nicht ausreicht, wenn sich die vom Beschwerdeführer als Beweisperson angerufene Sachbearbeiterin der IV-Stelle an mit ihm im Zeitraum Mitte 2009 bis Anfang 2010 allenfalls geführte Telefongespräche erinnern würde, sondern sie darüber hinaus über den genauen Inhalt Gewissheit haben müsste, durfte die Vorinstanz auch mit Blick auf die gesamten Umstände in nicht zu beanstandender antizipierter Beweiswürdigung von deren Befragung absehen. Ebenso durfte sie darauf verzichten, die Ehegattin des Beschwerdeführers zu den Geschehensabläufen zu befragen, zumal er selbst einräumt, dass sie bei den Telefongesprächen nicht zugegen gewesen sei und bezüglich der Frage, ob die von ihm der IV-Stelle angeblich zugesandten Schriftstücke bei dieser auch eingegangen sind, keine Angaben machen kann.
5.
Im bereits mehrfach angesprochenen Schreiben vom 6. Januar 2010, mit welchem der Beschwerdeführer die IV-Stelle um sofortige Renteneinstellung und Mitteilung des Umfangs der allenfalls zurückzuzahlenden, bereits bezogenen Leistungen, ersuchte, nannte er als Gründe die 2009 im Vergleich zu den Vorjahren verbesserten Einkommensverhältnisse aus selbstständiger Erwerbstätigkeit wie auch die durch gezielte Therapien inzwischen gesteigerte Leistungsfähigkeit. Dies belegte er mit der einen Gewinn von Fr. 23'928.78 ausweisenden Erfolgsrechnung 2009.
5.1. Es könnte nun argumentiert werden, auch wenn der Beschwerdeführer bezüglich seiner im August 2009 angetreten Anstellung bei der Firma B._ seiner Meldepflicht nicht nachgekommen ist, ihm dieses Fehlverhalten lediglich für die Zeit bis zu dieser Meldung vom 6. Januar 2010 entgegen gehalten werden dürfe, da ab diesem Zeitpunkt die IV-Stelle zwar nach wie vor nichts über seine unselbstständige Erwerbstätigkeit wusste, indessen auch ohne dieses Wissen mit hinreichenden Anhaltspunkten bedient worden sei, die eine umgehende Rentensistierung hätte nach sich ziehen können und müssen.
5.2. Solange indessen zwischen der Meldepflichtverletzung und dem unrechtmässigen Leistungsbezug ein kausaler Zusammenhang bestehen bleibt, ist die IV-Stelle gestützt auf Art. 88bis Abs. 2 lit. b IVV zur rückwirkenden Renteneinstellung berechtigt (vgl. <ref-ruling> E. 4a S. 434; <ref-ruling> E. 3 S. 221; SVR 1995 IV Nr. 58 S. 167 E. 5c [Urteil I 151/94 vom 3. April 1995]). Es ist mit anderen Worten zu fragen, ob anzunehmen ist, dass eine die unselbstständige Erwerbstätigkeit und das dabei erzielte Einkommen umschliessende Meldung des Versicherten vom 6. Januar 2010 an der Weiterausrichtung der Rente etwas geändert hätte (vgl. SVR a.a.O.). Davon ist auszugehen, da die dabei erzielten Einkünfte von über Fr. 10'000.- im Durchschnitt der Monate ab August 2009 den gemeldeten Gewinn aus selbstständiger Erwerbstätigkeit von Fr. 23'928.78 im Jahr (bzw. auf einen durchschnittlichen Monatsverdienst umgerechnet von etwas weniger als Fr. 2'000.-) um ein Vielfaches überstieg und dergestalt ein Ausmass erreicht ist, das mit überwiegender Wahrscheinlichkeit eine umgehende Rentensistierung nach sich gezogen hätte, zumal darin insgesamt auch ein gewichtiges Indizien für eine nachhaltige und nicht nur vorübergehende Verbesserung der gesundheitlichen Situation zu erblicken gewesen wäre.
5.3. Abgesehen davon kann der Verwaltung ohnehin nicht vorgeworfen werden, die Rente nicht bereits auf Grund des am 6. Januar 2010 eingereichten, einen Gewinn von Fr. 23'928.78 ausweisenden Geschäftsabschlusses als selbstständig Erwerbender sistiert zu haben, da dies allein noch keinen hinreichenden Anhaltspunkt für einen unrechtmässigen Rentenbezug bot . Daran ändert der Umstand, dass der Versicherte gleichzeitig mit der Eingabe des Geschäftsabschlusses um sofortige Renteneinstellung ersuchte, da er "voller Hoffnung" sei, "für das nun begonnene Jahr eine gleiche oder bessere Einkommensituation erzielen zu können", nichts. Das Gesagte gilt sinngemäss auch für den am 18. Januar 2010 eingeholten IK-Auszug, in dem die Einträge ab 2007 noch fehlten.
6.
Zusammengefasst lässt sich der vorinstanzliche Entscheid im Rahmen der letztinstanzlich offen stehenden Überprüfungsbefugnis nicht beanstanden.
7.
Die Gerichtskosten sind gestützt auf Art. 66 Abs. 1 Satz. 1 BGG ausgangsgemäss dem Beschwerdeführer zu überbinden.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 22. Juli 2014
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Der Gerichtsschreiber: Grünvogel