Sachverhalt: A. Mit Verfügung vom 29. März 2013 hob die IV-Stelle des Kantons Aargau die A._ seit dem 1. November 1997 ausgerichtete Rente rückwirkend per 1. August 2009 auf. B. Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 6. Dezember 2013 ab, soweit es darauf eintrat. C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und die Abänderung der Verfügung vom 29. März 2013 und des vorinstanzlichen Entscheids dahingehend beantragen, dass die bisher ausgerichtete Invalidenrente erst mit Wirkung ab 31. Mai 2013, allenfalls 31. Mai 2012, aufzuheben sei; zudem sei die IV-Stelle zu verpflichten, von einer Rückforderung der Invalidenrenten für den Zeitraum vom 1. August 2009 bis 31. Dezember 2011 abzusehen. Eventualiter wird um Rückweisung an das kantonale Gericht zwecks Vornahme weiterer Sachverhaltsabklärungen und anschliessendem neuen Entscheid ersucht. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.