Sachverhalt:
A.
Die IV-Stelle des Kantons Aargau sprach dem 1947 geborenen, gelernten Maurer und früher im Gipsergeschäft des Sohnes als Gipser tätig gewesenen X._ nach Abklärungen in medizinischer und erwerblicher Hinsicht mit Verfügung vom 25. August 1999 rückwirkend ab 1. März 1998 eine ganze Rente der Invalidenversicherung gestützt auf einen Invaliditätsgrad von 87% zu. Im Rahmen einer im Januar 2000 eingeleiteten Rentenrevision von Amtes wegen bestätigte der Sohn von X._ als dessen ehemaliger Arbeitgeber, dass dieser keiner erwerblichen Tätigkeit mehr nachgehe. Nach Einholung weiterer Arztberichte wurde X._ am 8. Juni 2000 mitgeteilt, dass er weiterhin Anspruch auf eine ganze Invalidenrente habe.
Auf Grund telefonischer Hinweise, dass der Sohn von X._, der als gelernter Gipser ebenfalls eine Invalidenrente bezog, zusammen mit seinem Vater, Gipser- und sonstige Bauarbeiten erledige, veranlasste die IV-Stelle eine Observation, welche im Zeitraum vom 5. Oktober 2010 bis 3. Februar 2011 stattfand (Überwachungsbericht vom 22. Februar 2011). Sie führte am 6. April 2011 selbst eine Baustellenkontrolle durch und nahm Informationen betreffend eine Baustellenkontrolle des Zentralpräsidenten des Schweizerischen Maler- und Gipserunternehmerverbandes vom 18. Oktober 2010 zu den Akten (Besprechung vom 28. April 2011). Am 14. April 2011 verfügte sie die sofortige Sistierung der Rente. Nach weiteren Erkenntnissen aus einer Meldung des Amtes für Migration und Integration des Kantons Aargau betreffend Schwarzarbeitskontrolle vom 13. und 16. Mai 2011, Stellungnahmen des Dr. med. S._, Facharzt für Physikalische Medizin und Rehabilitation, vom Regionalen Ärztlichen Dienst, RAD, vom 5. Mai und 15. August 2011 sowie der Einholung eines Berichtes des Hausarztes Dr. med. B._, Arzt für Allgemeine Medizin FMH, stellte die IV-Stelle X._ mit Vorbescheid vom 19. August 2011 die Herabsetzung der ganzen auf eine Viertelsrente ab 1. Oktober 2010 sowie die Rückforderung für zu Unrecht ausgerichtete Leistungen für den Zeitraum vom 1. Oktober 2010 bis 30. April 2011 in Aussicht, was sie am 12. Januar 2012 verfügte.
B.
Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 12. Juni 2012 ab. Die zum Verfahren beigeladene Sammelstiftung Swiss Life Zurich als berufliche Vorsorgeeinrichtung hatte auf eine Stellungnahme verzichtet.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt X._ beantragen, unter Aufhebung des vorinstanzlichen Entscheides sei ihm ab 1. Oktober 2010 weiterhin eine ganze Rente auszurichten. Eventualiter sei die Sache zur neuen Beurteilung an die Vorinstanz zurückzuweisen.
Erwägungen:
1.
1.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (Art. 105 Abs. 2 BGG; vgl. BGE 132 V 393).
Eine Sachverhaltsfeststellung ist nicht schon dann offensichtlich unrichtig, wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist (BGE 132 I 42 E. 3.1 S. 44). Es liegt noch keine offensichtliche Unrichtigkeit vor, nur weil eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erschiene (vgl. BGE 129 I 8 E. 2.1 S. 9; Urteil 9C_967/2008 vom 5. Januar 2009 E. 5.1). Diese Grundsätze gelten auch in Bezug auf die konkrete Beweiswürdigung (Urteile 9C_999/2010 vom 14. Februar 2011 E. 1 und 9C_734/2010 vom 21. Oktober 2010 E. 3; SVR 2012 BVG Nr. 11 S. 44, 9C_779/2010 E. 1.1.1 [nicht publiziert in: BGE 137 V 446]).
1.2. Der gestützt auf medizinische Akten gerichtlich festgestellte Gesundheitszustand bzw. die damit einhergehende Arbeitsfähigkeit ist Tatfrage (BGE 132 V 393 E. 3.2 S. 397 ff.), ebenso wie die konkrete Beweiswürdigung (nicht publ. E. 4.1 von BGE 135 V 254, in SVR 2009 IV Nr. 53 S. 164 [9C_204/2009]; Urteil 8C_886/2011 vom 4. April 2012 E. 1). Analoges gilt auch für die Frage, ob sich eine Arbeits (un) fähigkeit in einem bestimmten Zeitraum in einem revisionsrechtlich relevanten Sinne (Art. 17 ATSG; Art. 87 Abs. 3 und 4 IVV) verändert hat (Urteil I 865/06 vom 12. Oktober 2007 E. 4). Rechtsfragen sind die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Missachtung des Untersuchungsgrundsatzes (Art. 43 Abs. 1, Art. 61 lit. c ATSG) und der Anforderungen an den Beweiswert von Arztberichten (BGE 135 V 465, 134 V 231 E. 5.1 S. 232); es ist also vom Bundesgericht frei zu überprüfen, ob das kantonale Gericht eine inhaltsbezogene, umfassende, sorgfältige und objektive Beweiswürdigung vorgenommen hat (Art. 95 lit. a BGG; BGE 132 V 393 E. 4.1 S. 400; Urteil 9C_566/2008 vom 6. Oktober 2008 E. 4.1) und bei der Sachverhaltsermittlung vom Beweismass der überwiegenden Wahrscheinlichkeit ausgegangen ist (Urteil 9C_752/2008 vom 9. April 2009 E. 2.3.1 und 2.3.2).
2.
2.1. Streitig und zu prüfen ist, ob die Vorinstanz die Herabsetzung der ganzen auf eine Viertelsrente durch die IV-Stelle nach Durchführung einer Observation und den Beurteilungen durch den RAD-Arzt Dr. med. S._ ab 1. Oktober 2010 zu Recht bestätigt hat.
2.2. Das kantonale Gericht hat die für die hier im Streit liegende Aufhebung von Leistungen der Invalidenversicherung massgeblichen materiell- und beweisrechtlichen Grundlagen gemäss Gesetz und Rechtsprechung zutreffend dargelegt. Dies betrifft namentlich die Bestimmungen und Grundsätze zur Rentenrevision und zum dabei massgebenden Vergleichszeitraum (Art. 17 Abs. 1 ATSG in Verbindung mit Art. 87 ff. IVV; BGE 134 V 131 E. 3 S. 132 mit Hinweisen; 133 V 108 E. 5 S. 110 ff.; 117 V 198 E. 3b S. 199) sowie zu den Anforderungen an beweiskräftige medizinische Berichte und Gutachten (BGE 134 V 231 E. 5.1 S. 232; 125 V 351 E. 3a S. 352 mit Hinweis). Darauf wird verwiesen.
3.
Der Beschwerdeführer rügt zunächst eine Verletzung des rechtlichen Gehörs. Er bringt vor, die Vorinstanz sei in Bezug auf den Überwachungsbericht vom 22. Februar 2011 zum Schluss gelangt, dass weder die Umstände der Überwachung befremdlich seien noch der Bericht selbst zweifelhaft oder falsch erscheine. Die schon in der vorinstanzlichen Beschwerde gegen den Überwachungsbericht vorgebrachte Kritik und die beachtlichen Beweise und Hinweise für dessen schlechte Qualität habe die Vorinstanz in weiten Teilen ignoriert.
Dies trifft nicht zu. Die Vorinstanz war nicht verpflichtet, sich ausdrücklich mit jeder Tatsachenbehauptung und jedem rechtlichen Einwand auseinandersetzen und jedes einzelne Vorbringen ausdrücklich zu widerlegen. Vielmehr konnte sie sich auf die für den Entscheid wesentlichen Gesichtspunkte beschränken (Art. 61 lit. h ATSG und Art. 112 Abs. 1 lit. b BGG; BGE 136 I 229 E. 5.2 S. 236; 133 III 439 E. 3.3 S. 445; 124 V 180 E. 1a S. 181). In diesem Rahmen hat sich die Vorinstanz mit einigen Vorbringen des Beschwerdeführers wie dem Einwand betreffend Besitzverhältnisse der Fahrzeuge und der Inkongruenz der Beobachtungen mit behaupteten Arztterminen zur gleichen Zeit befasst und eine rechtskonforme Beweiswürdigung vorgenommen. Dass sie bei der Beurteilung des Beweiswertes des Überwachungsberichts weiteren vorgebrachten Umständen (beispielsweise ob sich der Beschwerdeführer beim beobachteten Beladen der Humusmulde übernommen habe), keine ausschlaggebende Bedeutung zugemessen hat und auf einzelne Vorbringen nicht weiter eingegangen ist, erscheint im Kontext der dokumentierten Beobachtungen nachvollziehbar und stellt keine Verletzung des rechtlichen Gehörs dar. Schliesslich ist in diesem Zusammenhang auch das Vorbringen, die Vorinstanz habe sich nicht zum Vorwurf geäussert, dass der Beschwerdeführer während der 17-tägigen Observation lediglich zweimal nachweislich bei der Arbeit beobachtet worden, nicht stichhaltig, hat doch die Vorinstanz dargelegt, wie die Präsenzzeit auf der Baustelle zu werten ist. Analoges gilt für die Rüge der Verletzung des rechtlichen Gehörs betreffend die Einwände zum Bericht des RAD-Arztes Dr. med. S._. Auch diesbezüglich hat sich die Vorinstanz damit befasst und unter anderem dargelegt, weshalb nicht auf den Bericht des Hausarztes abgestellt werden kann (vgl. E. 4.5 hernach).
4.
4.1. Zur Festsetzung des massgebenden Vergleichszeitraumes ging die Vorinstanz einerseits vom Sachverhalt aus, wie er der ursprünglichen Rentenverfügung vom 25. August 1999 zu Grunde lag, nachdem anlässlich der Rentenrevision im Jahr 2000 keine weitere Sachverhaltsabklärung stattgefunden hatte. Dabei war die IV-Stelle von den Diagnosen "Status nach ventraler Diskektomie C6/7 rechts am 13. März 1998 wegen cervikoradikulärem Syndrom C7 rechts, persistierender Cervicalgie und Cervicobrachialgie sowie einem Status nach CTS-Operation rechts 1995" ausgegangen. Der Hausarzt des Beschwerdeführers Dr. med. B._ hatte festgestellt, es bestehe im bisherigen Beruf als Gipser eine Arbeitsunfähigkeit von 100%. Grundsätzlich bestehe eine sicher zeitlich reduzierte Arbeitsfähigkeit für leichtere Arbeiten, insbesondere Arbeiten, die eine Reklination des Kopfes nicht beinhalten, nicht mit Tragen von schweren Lasten verbunden sind; Arbeiten in sitzender oder stehender Tätigkeit, nicht jedoch in gebückter Stellung. Das Ausmass der möglichen Stunden müsse erprobt werden. Die jüngste Exacerbation spreche aber dafür, dass möglicherweise auch hier der Einsatz über 20 - 30% nicht möglich sei. Zudem hatte der Sohn des Beschwerdeführers als sein Arbeitgeber am 26. April 1999 bestätigt, dass ein Einsatz von etwa 6 Stunden wöchentlich für leichteste Arbeiten möglich sei. Diesen Einsatz könne er seinem Vater mit einem Verdienst von Fr. 500.- bis Fr. 600.- monatlich (x12) vergüten.
Die IV-Stelle kam gestützt darauf zum Schluss, dem Versicherten sei noch eine Tätigkeit als Angestellter für leichtere Gipserarbeiten zumutbar, mit welcher er in Verwertung seiner Restarbeitsfähigkeit noch ein Einkommen von monatlich Fr. 600.- oder jährlich Fr. 7'200.- erzielen könne, was einen Invaliditätsgrad von 87% ergebe.
4.2. Wenn die Vorinstanz im Vergleich dazu auf Grund der Ergebnisse des Observationsberichts und der Feststellungen des RAD-Arztes Dr. med. S._ in seinen Beurteilungen vom 5. Mai und 15. August 2011 zum Schluss kam, der Versicherte sei nunmehr zu 2 x 3 Stunden pro Tag arbeitsfähig, ist dies weder offensichtlich unrichtig noch verletzt es den Untersuchungsgrundsatz oder sonstwie Bundesrecht. Was der Beschwerdeführer dagegen vorbringt, ist - soweit es sich dabei nicht um unzulässige appellatorische Kritik handelt - nicht stichhaltig:
4.3. Soweit der Beschwerdeführer zunächst einwendet, der Überwachungsbericht eigne sich nicht als Beweisgrundlage für eine Beurteilung des Gesundheitszustandes, da er keine aussagekräftigen Hinweise bezüglich einer zumutbaren Tätigkeit liefere, insbesondere, weil der Versicherte nur zwei Mal während 23 Minuten und 65 Minuten nachweislich bei der Arbeit habe beobachtet werden können und der Bericht sonst nur Präsenzzeiten auf der Baustelle dokumentiere, zielt diese Kritik ins Leere.
Zunächst trifft es gar nicht zu, dass der Beschwerdeführer nur zwei Mal während 23 Minuten und 65 Minuten nachweislich bei der Arbeit habe beobachtet werden können. Sodann konnte der Versicherte, wie die Vorinstanz mit Wiedergabe des Berichts des RAD-Arztes Dr. med. S._ ausgeführt hat, gemäss Überwachungsbericht, der immerhin einen Zeitraum vom 5. Oktober 2010 bis 3. Februar 2011 abdeckt, an mehreren Tagen hintereinander beobachtet werden, wie er sich während mehreren Stunden in Arbeitskleidung auf Baustellen aufhielt und, sofern der Arbeitsbereich einsehbar war, leichte körperliche Arbeiten ausführte. Sie hielt fest, auf Grund der Überwachung habe Dr. med. S._ zudem nachvollziehbar und schlüssig festgehalten, welche Bewegungen und körperlichen Belastungen der Beschwerdeführer ausführe und ihm damit aus objektiver Sicht zumutbar seien.
So gab Dr. med. S._ in seinem Bericht vom 5. Mai 2011 an, die Observationsberichte dokumentierten einerseits mehrstündige Präsenz in Arbeitskleidung auf Baustellen inklusive Transportfahrten (meistens morgens, z.B. 6 Stunden am 14. Oktober 2010), andererseits die Beteiligung an leichten Transport-, Verlade- und Verputzarbeiten. Die DVD-Aufnahmen vom 5. Oktober 2010 bis 3. Februar 2011 zeigten einen eher kleinschrittigen, etwas steifen Gang, gelegentlich Arbeitspausen, dann auch längere gebückte Tätigkeiten bei Verputzarbeiten, teils repetitiv gebückt oder auf dem Gerüst werde die gebückte Haltung vermieden durch Wechsel der Arbeitsebene.
4.4. Wenn der Beschwerdeführer vorbringt, dass aus dem Auftreten in Arbeitskleidung und allfälligen Fahrten zu Baustellen keine Erwerbsfähigkeit abgeleitet werden könne, so geht dies an der Sache vorbei. Denn aus den Beobachtungen lässt sich vielmehr im Rahmen bundesrechtskonformer Beweiswürdigung mit dem Beweisgrad der überwiegenden Wahrscheinlichkeit schliessen, dass der Versicherte jedenfalls bei den Arbeiten auf der Baustelle mindestens mithalf. Anzunehmen, der Versicherte würde sich ganze Vormittage lang auf die Baustelle begeben, ohne eine Tätigkeit auszuführen oder gewisse Verrichtungen vorzunehmen, erweist sich einerseits als weltfremd. Andererseits dokumentieren die Akten ganz klare Arbeitsverrichtungen wie das Tragen von 2.5 m langen Schaltafeln, das Entladen verschiedener Gegenstände aus einem Fahrzeug oder das Arbeiten an der Aussenfassade auf einem Gerüst.
4.5. Damit sind die Ergebnisse aus der Observation ein taugliches Beweismittel für die Beurteilung der Arbeitsfähigkeit des Beschwerdeführers, zumal eine nachfolgende (zweimalige) Beurteilung durch den RAD-Arzt Dr. med. S._ erfolgte. Hinweise, weshalb auf dessen Bericht nicht abzustellen wäre, liegen keine vor. Vielmehr hat der RAD-Arzt nachvollziehbar dargelegt, dass mit der Diskushernien-Operation an der HWS vor 13 Jahren eine Arbeitsunfähigkeit als Gipser definitiv weitgehend gegeben sei. Die Observations-CD lasse zusätzliche Probleme der Lendenwirbelsäule, eventuell beginnende Hüftarthrose vermuten. Aus rheumatologischer Sicht könne ohne genaue Kenntnis der Diagnosen Folgendes angenommen werden: Der Versicherte könne mindestens 6 Stunden eine wechselbelastete Tätigkeit ausüben ohne repetitives Bücken, mit kürzeren Zwangshaltungen vorgeneigt, ohne repetitives Treppensteigen und ohne Überkopfarbeiten wegen der Ursprungsdiagnose. Zudem bestehe beim Versicherten offensichtlich eine Behinderung beim Bücken, schnellen Gehen und Leiternsteigen, eine angepasste Wechseltätigkeit erscheine aber gut möglich. Die Präsenz des Versicherten auf Baustellen werde auch von Dritten bestätigt (Maler- und Gipserverband, Schwarzarbeitskontrolle). Gemäss Selbstdeklaration verrichte der Versicherte nur Minimaltätigkeiten, begleite den Sohn, der auch ohne Entgelt arbeite. Der Versicherte mache klar falsche Angaben. Dieser sei klar berufstätig, wenn auch eingeschränkt. Zusammenfassend sei eine leichte Wechseltätigkeit von zweimal drei Stunden mit Einschränkungen zumutbar (keine schwere Gewichtsbelastung, keine langen Gehstrecken, nicht vorwiegend Überkopf, keine schweren Gewichte von mehr als 10kg, Tätigkeiten auf Gerüsten und Leitern nur mit guter Sicherung, wie bisher).
Soweit der Beschwerdeführer auch in diesem Zusammenhang vorbringt, zur Beurteilung der Arbeitsfähigkeit sei zu Unrecht nicht auf den Bericht des Hausarztes Dr. med. B._ abgestellt worden, kann er nicht gehört werden, ist doch - wie die Vorinstanz zutreffend dargelegt hat - angesichts der Tatsache, dass der Beschwerdeführer nachweislich arbeitsfähig ist und im Übrigen schon gestützt auf die ursprüngliche Rentenverfügung eine Restarbeitsfähigkeit vorhanden war, dessen Schätzung der Arbeitsunfähigkeit von 100% auch in einer Verweisungstätigkeit nicht plausibel.
4.6. Soweit der Beschwerdeführer sodann einwendet, er verfüge bereits gemäss der rentenzusprechenden Verfügung über eine verwertbare Arbeitsfähigkeit, ist festzuhalten, dass der Beschwerdeführer gemäss Angaben des Arbeitgebers 6 Stunden pro Woche einer Erwerbstätigkeit nachging. Ausgehend von den Beobachtungen, wonach sich der Beschwerdeführer ganze Vormittage auf Baustellen aufhielt, wobei oftmals die Observation mittags abgebrochen wurde, bevor der Versicherte von der Baustelle wegfuhr, liegt auf der Hand, dass bereits die beobachteten Präsenzzeiten über das in der rentenzusprechenden Verfügung angenommene Mass an Arbeitsfähigkeit hinausgehen. Damit ist die von Vorinstanz und Verwaltung getroffene Annahme, er könne 2 mal 3 Stunden pro Tag einer leichten Tätigkeit nachgehen, jedenfalls nicht offensichtlich unrichtig. Die Vorinstanz hat denn auch zutreffend erwogen, dass die nunmehr zumutbare Arbeitsbelastung nicht zu einer entscheidenden Schmerzzunahme führen sollte, hielt sich der Beschwerdeführer doch am 13. Oktober 2010 am Morgen mehrere Stunden auf der Baustelle auf und konnte nachmittags noch bei Gartenarbeiten helfen. Trotzdem begab er sich am nächsten Tag um 8.30 Uhr wieder auf die Baustelle. Von einer willkürlichen Feststellung des Sachverhalts kann keine Rede sein.
Es muss daher im Ergebnis mit der vorinstanzlichen Beurteilung des beobachteten Leistungsvermögens sein Bewenden haben. Von zusätzlichen medizinischen Abklärungen sind entgegen der Auffassung des Beschwerdeführers in antizipierter Beweiswürdigung (vgl. BGE 124 V 90 E. 4b S. 94, 122 V 157 E. 1d S. 162) keine neuen Erkenntnisse zu erwarten, welche sich auf den Ausgang des Verfahrens auswirken könnten. Wie der RAD-Arzt zutreffend ausführte, sei angesichts der Umstände die Observation momentan die einzige zuverlässige Quelle zur Abschätzung der Arbeitsfähigkeit.
4.7. Nach dem Gesagten bilden der Überwachungsbericht und die diesbezüglichen Einschätzungen des RAD-Arztes Dr. med. S._ eine genügende Grundlage für die Beurteilung der Arbeitsfähigkeit des Beschwerdeführers. Die vorinstanzliche Beweiswürdigung und die Sachverhaltsfeststellung betreffend die Arbeitsfähigkeit beruhen nicht auf einer Rechtsverletzung. Sie sind auch nicht offensichtlich unrichtig, weshalb sie für das Bundesgericht verbindlich bleiben.
5.
5.1. Das Bundesgericht prüft frei, ob das hypothetische Invalideneinkommen gestützt auf die konkrete beruflich-erwerbliche Situation oder aber aufgrund von Tabellenlöhnen zu bestimmen ist (vgl. Urteil 8C_792/2012 vom 8. März 2013 E. 3.2.1). Dabei sind der Beurteilung dieser Frage die tatsächlichen Feststellungen der Vorinstanz zugrunde zu legen (E. 1 hievor).
5.2. Die Vorinstanz stellte beim Einkommensvergleich neben dem im Jahr 1998 tatsächlich erzielten und auf das Jahr 2010 aufindexierten Einkommen als Valideneinkommen von Fr. 67'364.55 für das Invalideneinkommen von Fr. 45'873.40 auf die Tabellenlöhne der Schweizerischen Lohnstrukturerhebung des Bundesamtes für Sozialversicherung, LSE, ab (LSE 2010 TA1, monatlicher Bruttolohn nach Wirtschaftszweigen, Anforderungsniveau 4, Männer Total; angepasst an die betriebsübliche Arbeitszeit sowie aufgerechnet an die dem Beschwerdefürher zumutbare Arbeitszeit von 1580 Stunden pro Jahr). Der gestützt darauf ermittelte Invaliditätsgrad von 42.2% unter Berücksichtigung eines leidensbedingten Abzugs gibt weder in tatsächlicher noch rechtlicher Hinsicht (Art. 105 Abs. 2 und Art. 95 BGG) zu Beanstandungen Anlass.
5.3. Soweit sich der Beschwerdeführer gegen die vorinstanzliche Festsetzung des Invalideneinkommen gestützt auf die LSE-Tabellenlöhne wendet und geltend macht, es sei vielmehr auf seinen tatsächlich erzielten Verdienst bei der Y._ GmbH von jährlich Fr. 6'000.- abzustellen, kann ihm nicht gefolgt werden.
5.4. Die Vorinstanz hat nachvollziehbar darlegt, dass der Beschwerdeführer zwar einer Erwerbstätigkeit nachgehe, es aber unklar sei, ob er die medizinisch zumutbare Erwerbsfähigkeit voll ausschöpfe und zudem auf die Einkommensangaben von Fr. 6'000.- jährlich auf Grund der familiären Nähe zur Arbeitgeberin nicht abgestellt werden könne, weshalb beim Invalideneinkommen vom LSE-Tabellenlohn 2010 auszugehen sei. Dies ist nicht zu beanstanden, nachdem es sich bei der Y._ GmbH um das Reinigungsinstitut der Schwiegertochter handelt, bei welchem der Sohn des Beschwerdeführers neben der Schwiegertochter, die als Gesellschafterin und Vorsitzende der Geschäftsführung amtet, im Handelsregister ebenfalls als Gesellschafter und Geschäftsführer eingetragen ist. Zudem ist auch aus den eigenen Angaben des Beschwerdeführers, - sollten diese zutreffen - wonach er nur dem Sohn helfe und wie dieser ohne Entgelt arbeite, ersichtlich, dass er seine zumutbare Erwerbsfähigkeit nicht in vollem Masse verwertet. Auch der leidensbedingte Abzug wegen Teilzeittätigkeit und Einschränkungen bei gewissen Verrichtungen erscheint mit 15% weder ermessensmissbräuchlich noch sonst rechtsfehlerhaft (E. 1 hievor; vgl. auch BGE 132 V 393 E. 3.3 S. 399).
5.5. Damit ist die Rentenherabsetzung rechtens. Die Beschwerde ist unbegründet.
6.
Schliesslich äussert sich der Beschwerdeführer nicht zur Frage der Rückerstattung. Es besteht deshalb kein Anlass für eine nähere Prüfung von Amtes wegen, nachdem die Unrechtmässigkeit der Auszahlung von Rentenbetreffnissen mangels eines über eine Viertelsrente hinausgehenden Rentenanspruchs zwischen Oktober 2010 und April 2011 feststeht.
7.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 16. August 2013
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Die Gerichtsschreiberin: Helfenstein