Sachverhalt:
A.
A.a. Der 1957 geborene A._ war als selbstständiger Architekt tätig. Am 20. Mai 2003 meldete er sich bei der IV-Stelle des Kantons Aargau zum Leistungsbezug an. Mit Verfügung vom 26. April 2005 sprach ihm diese ab 1. Juni 2003 eine ganze Invalidenrente zu (Invaliditätsgrad 100 %). Die dagegen erhobene Einsprache wies sie mit Entscheid vom 25. August 2005 ab. Am 6. Juli 2006 bestätigte die IV-Stelle diesen Rentenanspruch revisionsweise.
A.b. Am 19. Juni 2008 leitete die IV-Stelle erneut eine Rentenrevision ein. Sie holte ein interdisziplinäres (internistisches, psychiatrisches und orthopädisches) Gutachten des Ärztlichen Begutachtungsinstituts (ABI) GmbH, Basel, vom 30. August 2009 ein. Mit Vorbescheid vom 16. September 2009 zeigte die IV-Stelle dem Versicherten die von ihr erwogene Rentenaufhebung an. Am 21. Dezember 2009 reichte sie gegen den Versicherten Strafanzeige wegen unrechtmässigen Bezugs von IV-Leistungen, eventuell Betrugs ein. Weiter holte sie ein Gutachten des ABI-Arztes Dr. med. B._, FMH Psychiatrie und Psychotherapie, vom 12. Oktober 2010 ein. Mit Verfügung vom 18. März 2011 sistierte die IV-Stelle die Rente ab sofort. Mit Verfügung vom 29. März 2011 hob sie die Rente rückwirkend per 1. Juni 2003 auf und forderte vom Versicherten die in der Zeit vom 1. März 2004 bis 31. März 2011 zu Unrecht ausgezahlten IV-Leistungen in Höhe von total Fr. 159'754.80 zurück. Mit Verfügung vom 9. Mai 2011 verneinte die IV-Stelle den Anspruch auf berufliche Massnahmen. Gleichentags verfügte sie die Rentenaufhebung rückwirkend ab 1. Juni 2003, da der Invaliditätsgrad lediglich 30 % betrage; für die Zeit vom 1. Juni 2003 bis 31. März 2011 liege eine Meldepflichtverletzung vor.
B.
Der Versicherte erhob gegen die Verfügungen vom 29. März 2011 und 9. Mai 2011 beim Versicherungsgericht des Kantons Aargau separate Beschwerden. Am 10. Juni 2011 vereinigte dieses die Verfahren. Am 14. Oktober 2014 teilte der Versicherte der Vorinstanz mit, das Bezirksgericht als Strafgericht habe ihn mit Entscheid vom 9. Juli 2014 von Schuld und Strafe freigesprochen. Am 23. Januar 2015 zog die Vorinstanz diesen in Rechtskraft erwachsenen Entscheid bei. Mit Eingabe vom 15. März 2015 hielt der Versicherte an seinen Anträgen fest. Am 11. November 2015 reichte er Berichte der Psychiater Dres. med. C._ vom 30. Oktober 2015 und D._ vom 5. November 2015 (betreffend seine Ehefrau) ein. In teilweiser Gutheissung der gegen die Verfügung vom 29. März 2011 erhobenen Beschwerde änderte das Versicherungsgericht des Kantons Aargau diese bezüglich der Rückforderung von Fr. 159'754.80 dahingehend ab, als es den Rückforderungsbetrag auf Fr. 135'723.- (Rentenbezüge von März 2006 bis März 2011) reduzierte (Dispositiv-Ziff. 1); die Beschwerde gegen die beiden Verfügungen vom 9. Mai 2011 wies die Vorinstanz ab (Dispositiv-Ziff. 2; Entscheid vom 15. Dezember 2015).
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt der Versicherte, in Aufhebung des kantonalen Entscheides sei Dispositiv-Ziff. 1 insofern abzuändern, als festzustellen sei, dass er nicht verpflichtet sei, die ausgerichteten IV-Renten (Haupt- und Kinderrenten) zurückzuzahlen; eventuell sei er zu verpflichten, den Betrag von Fr. 6'438.- zurückzuzahlen; subeventuell sei er zu verpflichten, den Betrag von Fr. 113'937.- zurückzuzahlen. Dispositiv-Ziff. 2 sei aufzuheben und es sei festzustellen, dass er über den 31. März 2011 hinaus Anspruch auf eine ganze Invalidenrente (zuzüglich Kinderrenten) habe; eventuell sei festzustellen, dass er ab 1. Juli bzw. 1. April 2011 Anspruch auf eine halbe Invalidenrente habe; subeventuell sei die ganze Invalidenrente auf den 30. Juni 2011 (Haupt- und Kinderrenten) aufzuheben. Für das bundesgerichtliche Verfahren sei ihm die unentgeltliche Prozessführung zu gewähren.
Die IV-Stelle und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung, wobei Erstere auf Beschwerdeabweisung schliesst.

Erwägungen:
1.
Mit der Beschwerde kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG; <ref-ruling> E. 2.2.1 S. 389). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG). Rechtsfragen sind die vollständige Feststellung erheblicher Tatsachen, die Beachtung des Untersuchungsgrundsatzes bzw. der Beweiswürdigungsregeln nach <ref-law> und der Anforderungen an den Beweiswert von Arztberichten (<ref-ruling> E. 5.1 S. 232) sowie Abklärungsberichten an Ort und Stelle (<ref-ruling> E. 3.2.1 S. 547). Die gestützt auf diese Berichte erfolgten Feststellungen über gesundheitsbedingte Einschränkungen betreffen Tatfragen; Gleiches gilt für die konkrete Beweiswürdigung (nicht publ. E. 1 des Urteils <ref-ruling>; SVR 2009 IV Nr. 30 S. 85 E. 3.2 [9C_431/2008]; Urteil 8C_461/2015 vom 2. November 2015 E. 1).
2.
Die Vorinstanz legt die rechtlichen Grundlagen der Invalidität (Art. 7 f. ATSG; <ref-law>) sowie die gesetzlichen Voraussetzungen des Rentenanspruchs (<ref-law>), der Rentenrevision (<ref-law>; <ref-ruling> E. 3 S. 132; vgl. auch <ref-ruling> E. 2.3 S. 11) und der Rückerstattung unrechtmässig bezogener Leistungen (<ref-law>; <ref-law>; vgl. <ref-ruling> E. 2.3.1 S. 384, 318 E. 5.2 in fine S. 319, 129 V 110 E. 1.1) richtig dar. Gleiches gilt betreffend den Beweiswert von Arztberichten (siehe E. 1 hievor), den im Sozialversicherungsrecht üblichen Beweisgrad der überwiegenden Wahrscheinlichkeit (<ref-ruling> E. 6 S. 221) und die Frage der Bindung des Sozialversicherungsgerichts an strafgerichtliche Feststellungen (<ref-ruling> E. 6a S. 242; SVR 2012 IV Nr. 2 S. 4 E. 7.2.1 [9C_785/2010]; vgl. auch <ref-ruling> E. 7 S. 81, 134 V 315 E. 4.5.3 S. 322). Darauf wird verwiesen.
Zu ergänzen ist, dass die rückwirkende Korrektur eines unrechtmässigen Leistungsbezugs mittels Rückforderung auch im Bereich der IV eines entsprechenden Titels bedarf. Im Einzelnen braucht es dazu einen Rückkommenstitel im Sinne von Art. 53 Abs. 1 oder 2 ATSG (Wiedererwägung oder Revision). In Frage kommt jedoch auch eine Revision nach <ref-law>, falls sie gemäss <ref-law> rückwirkend erfolgt (vgl. Urteil 9C_245/2012 vom 29. Oktober 2012 E. 5.1.1 mit Hinweisen; zum Ganzen vgl. ferner MEYER/ REICHMUTH, Bundesgesetz über die Invalidenversicherung, 3. Aufl. 2014, N. 151 zu Art. 30-31 IVG).
3.
Die Verneinung des Anspruchs auf berufliche Massnahmen wird in der Beschwerde nicht thematisiert, weder im Rahmen der Anträge noch in der nachfolgenden Begründung. Insoweit hat es mit dem vorinstanzlichen Entscheid sein Bewenden.
Streitig und zu prüfen sind somit die Rentenaufhebung und -rückerstattung.
4.
4.1. Die Vorinstanz nimmt eine revisionsrechtliche Prüfung vor, und zwar bezogen auf den ursprünglich leistungszusprechenden Einspracheentscheid vom 25. August 2005. Damals erfolgte die Rentenzusprache im Wesentlichen gestützt auf die Einschätzung des behandelnden Psychiaters Dr. med. E._ vom 19. September 2003, 25. September 2004 und 17. November 2004 sowie die Stellungnahme der Ärzte des Regionalen Ärztlichen Dienstes der IV-Stelle (RAD) vom 14. Dezember 2004. Den Revisionsgrund erblickt das kantonale Gericht im Wegfall der für die Berentung ausschlaggebenden Depression, dies gestützt auf das ABI-Gutachten vom 30. August 2009; der Zeitpunkt der Besserung des Gesundheitszustandes mit voller Arbeitsfähigkeit in der angestammten Tätigkeit als Architekt und in jeglichen leichten bis mittelschweren Tätigkeiten wurde in diesem Gutachten auf denjenigen der aktuellen Begutachtung bezogen.
4.2. Danach fand bis zum Zeitpunkt der Revisionsverfügung vom 9. Mai 2011 wieder eine Verschlechterung des psychischen Gesundheitszustandes statt, wie sich insbesondere aus dem psychiatrischen ABI-Verlaufsgutachten des Dr. med. B._ vom 12. Oktober 2010 ergibt. Dieser schätzte die Arbeitsunfähigkeit auf 30 % wegen einer rezidivierenden depressiven Störung, gegenwärtig leicht bis mittelgradige Episode (ICD-10 F33.0, F33.1). Einer anhaltenden somatoformen Schmerzstörung (ICD-10 F45.4) und einer narzisstischen Persönlichkeitsstörung (ICD-10 F60) mass er keine Bedeutung für die Arbeitsunfähigkeit zu. Zur Begründung verwies er unter anderem darauf, dass keine ausgeprägte psychiatrische Komorbidität vorliege. Auch die Persönlichkeitsstörung habe keine Relevanz für die Arbeitsunfähigkeit. Die depressive Störung gründe im Wesentlichen in den wirtschaftlichen Schwierigkeiten, entstanden durch die Rentenaufhebung, und einer ausgeprägten subjektiven Krankheitsüberzeugung.
Die Verneinung der Arbeitsunfähigkeit hinsichtlich der anhaltenden somatoformen Schmerzstörung durch Dr. med. B._ erfolgte damit vor allem vor dem Hintergrund der alten sog. Schmerzrechtsprechung (<ref-ruling>). Davon abgesehen fällt auf, dass eine Auseinandersetzung mit dem ABI-Gutachten vom 30. August 2009 nicht stattfand, das Dr. med. B._ aber vorgelegen hatte. Die Vorinstanz misst der von Dr. med. B._ angenommenen Arbeitsunfähigkeit von 30 % keine Relevanz zu, da sie erstens auf psychosozialen Faktoren beruhe und zweitens - selbst wenn dies nicht zuträfe - auch nicht vom Umfang her anspruchsbegründend wäre. Einen Bericht des behandelnden Psychiaters Dr. med. C._ vom 30. Oktober 2015 erachtet die Vorinstanz als irrelevant, da sich dieser nicht auf den Zeitpunkt der strittigen Verfügung vom 9. Mai 2011 bezogen habe. Zur von Dr. med. B._ ebenfalls diagnostizierten anhaltenden somatoformen Schmerzstörung äussert sich die Vorinstanz nicht, ebenso wenig zur neuen Rechtsprechung nach <ref-ruling> (zur Anwendbarkeit auf laufende Verfahren vgl. E. 8 desselben) und deren Relevanz für den Fall des Beschwerdeführers.
5.
5.1. Soweit sich der Beschwerdeführer gegen das ABI-Gutachten vom 30. August 2009 wendet, dringt er damit nicht durch. Weder legt er begründet dar, dass das kantonale Gericht in diesem Zusammenhang den Sachverhalt offensichtlich unrichtig festgestellt hätte, indem es gestützt darauf auf eine bedeutsame Verbesserung des Gesundheitszustandes geschlossen hat. Ebenso wenig vermag er eine Verletzung von Bundesrecht darzutun, indem die Vorinstanz diesem Gutachten Beweiswert zuerkannt hat. Fehl geht dabei namentlich sein Einwand, das Gutachten sei schon deshalb unbrauchbar, da es Dr. med. B._ nur kurze Zeit später mit seinem Verlaufsgutachten vom 12. Oktober 2010 wesentlich korrigiert habe. Denn Dr. med. B._ erhob ein Wiederaufleben der depressiven Störung, das er explizit in Zusammenhang mit der schon mit Vorbescheid vom 16. September 2009 angekündigten Rentenaufhebung stellte. Insofern lag ein veränderter Sachverhalt vor, was keine Rückschlüsse auf die Qualität des früheren ABI-Gutachtens erlaubt. Der Beweiswert des ABI-Gutachtens vom 30. August 2009 wird auch nicht durch die weiteren Vorbringen in der Beschwerde erschüttert, sei es hinsichtlich der Bewertung der Kränkungserlebnisse, sei es hinsichtlich Verkennung der besonderen Anforderungen einer selbstständigen Erwerbstätigkeit. Davon abgesehen befasst sich der Beschwerdeführer in keiner Weise mit der Rechtsprechung zur Bedeutung von leicht- bis höchstens mittelgradig schweren depressiven Störungen, die in der Regel therapierbar sind und invalidenversicherungsrechtlich zu keiner Einschränkung der Arbeitsfähigkeit führen (vgl. <ref-ruling> E. 3.3 S. 197; Urteil 8C_119/2016 vom 20. Mai 2016 E. 3.2).
5.2. Der Beschwerdeführer rügt jedoch, dass dem Ergänzungsgutachten des Dr. med. B._ vom 12. Oktober 2010 die veralteten "Überwindungskriterien" (<ref-ruling>) zugrunde lägen; die Anspruchsindikatoren gemäss der neuen Rechtsprechung <ref-ruling> würden damit nicht berücksichtigt.
Dr. med. B._ setzte sich mit dem Schmerzgeschehen nicht näher auseinander. Er hielt bloss fest, dass die wirtschaftlichen Schwierigkeiten seit der Rentenreduktion massiv zugenommen hätten und der Beschwerdeführer auch an depressiven Störungen leide; auf diesem Hintergrund sei die psychische Überlagerung der Schmerzen zu sehen, es könne eine anhaltende somatoforme Schmerzstörung diagnostiziert werden. Das genügt den Anforderungen an diese Diagnose im Lichte der neuen Rechtsprechung nicht, zumal eine entsprechende Diagnose im vorliegenden Fall weder vom behandelnden Psychiater Dr. med. C._ in den Berichten vom 18. April 2010 und 30. Oktober 2015 noch in einem anderen Arztbericht (vgl. insbes. denjenigen der Klinik F._ vom 18. Dezember 2009, wo der Versicherte 2 Monate hospitalisiert war), je gestellt wurde. Einerseits mangelt es an jeglichen Ausführungen des Dr. med. B._ zum diagnoseinhärenten Schweregrad (<ref-ruling> E. 2.1.1 S. 285). Zum andern fehlt eine nachvollziehbare Begründung dafür, dass sich die Reaktion auf die gegebene psychosoziale Problematik (Rentenaufhebung) tatsächlich zu einer eigenständigen psychiatrischen Krankheit - bestehend nebst der ebenfalls diagnostizierten depressiven Störung - verdichtet hätte.
5.3. Trotz dieser Mängel braucht es keine erneute medizinische Begutachtung (vgl. <ref-ruling> E. 8 S. 309). Denn nebst der bereits erwähnten Singularität der Diagnose bestehen Divergenzen und eine kaum vorhandene Motivation des Versicherten, die bestehenden Schwierigkeiten anzugehen. Zudem zeigte er ein nicht unbeachtliches alltägliches Funktionsniveau mit Einkaufen, Kochen, gemeinsamen Abendessen mit der Familie, Mitarbeit im Haushalt, Erledigung der Post und regelmässigen langen Spaziergängen. Vom Beschwerdeführer angegebene Konzentrationsstörungen waren in der Begutachtung nicht zu bestätigen. Eine schmerzbezogene Therapie erfolgte bislang nicht. Unter diesen Umständen ist im vorliegenden Fall tatsächlich nicht von einer Arbeitsunfähigkeit von mehr als 30 % auszugehen, wie im Gutachten des Dr. med. B._ vom 12. Oktober 2010 bestätigt wurde.
6.
6.1. Den Invaliditätsgrad des Versicherten ermittelte die IV-Stelle wie folgt: Als Valideneinkommen veranschlagte sie sein Einkommen als Architekt gemäss dem Abklärungsbericht für Selbstständigerwerbende vom 9. September 2004, nominallohnindexiert auf das Jahr 2009, was Fr. 105'011.- ergab. Das Invalideneinkommen bestimmte sie aufgrund einer zumutbaren vollzeitlichen Tätigkeit als Architekt (Einkommen analog Valideneinkommen) im Rahmen von 70 %, was Fr. 73'508.- bzw. verglichen mit dem Valideneinkommen einen Invaliditätsgrad von 30 % ergab. Hierauf stellte auch die Vorinstanz ab.
Diese Berechnung hat der Versicherte vorinstanzlich in keiner Weise beanstandet, weshalb er mit seinen nunmehr dagegen erhobenen Einwänden tatsächlicher Natur nicht zu hören ist (<ref-law>; vgl. E. 5.1 hievor; betreffend die Unzulässigkeit echter Noven siehe <ref-ruling> E. 3.1.2 S. 123; Urteil 8C_776/2015 vom 22. März 2016 E. 3).
6.2. Daraus folgt als Zwischenergebnis, dass die Vorinstanz aufgrund einer wesentlichen Verbesserung des Gesundheitszustandes mit Auswirkung auf den Rentenanspruch einen Revisionsgrund nach <ref-law> zu Recht bejaht hat. Weder hat sie den Sachverhalt hinsichtlich des Gesundheitszustandes in unhaltbarer Weise festgestellt, noch sind in Zusammenhang mit der Frage des Beweiswerts und der Einschätzung der Arbeitsfähigkeit des Beschwerdeführers Bundesrechtsverletzungen dargetan. Daher besteht jedenfalls spätestens ab Juli 2011 kein Rentenanspruch mehr (vgl. <ref-law>).
7.
7.1. Hinsichtlich des Zeitpunkts der Rentenaufhebung bzw. des Beginns der Rückerstattung erkannte das kantonale Gericht auf eine Meldepflichtverletzung, weil der Beschwerdeführer trotz Rentenbezugs mit seinem Architekturbüro Fr. 642'236.05.- erwirtschaftet habe, ohne dies der IV-Stelle zu melden. Die Vorinstanz ging davon aus, die Rückforderung könne nur innerhalb der absoluten fünfjährigen Verwirkungsfrist vor Erlass der Rückforderungsverfügung vom 29. März 2011 erfolgen, mithin ab März 2006. Sie ermittelte bis März 2011 einen Rückforderungsbetrag von Fr. 135'723.-.
7.2. Betreffend Meldepflichtverletzung kann entgegen dem Beschwerdeführer weder von offensichtlich unrichtigen Tatsachenfeststellungen noch von einer Bundesrechtsverletzung ausgegangen werden. Obwohl er am 26. April (bzw. 25. August) 2005 eine Invalidenrente auf der Grundlage vollständiger Arbeits- und Erwerbsunfähigkeit zugesprochen erhalten hatte, war er durchaus erwerblich tätig gewesen, ohne dies der IV-Stelle je gemeldet zu haben. Gegenteiliges macht er selbst nicht geltend. Damit liegt eine Verletzung der Meldepflicht vor (vgl. Urteil 8C_626/2014 vom 6. Januar 2015 E. 3.3).
7.3.
7.3.1. Was die vorinstanzliche Feststellung anbelangt, er habe in seinem Betrieb einen Umsatz von Fr. 642'236.05 erzielt, wendet der Beschwerdeführer ein, in der Zeit von 2006 bis 2011 selbst kein Einkommen erwirtschaftet zu haben. Der Umsatz sei fast ausschliesslich auf die Arbeitsleistung seiner Ehefrau zurückzuführen.
7.3.2. Zur Begründung beruft er sich unter anderem auf Arbeitsverträge zwischen ihm und seiner Ehefrau, auf Tabellen mit den erfassten Arbeitsstunden für die Jahre 2001 bis 2006, auf Handnotizen über Bauprojekte sowie auf Einvernahmeprotokolle der Zeugen F._ und G._. All diese Unterlagen legt er im Verfahren vor Bundesgericht erstmals auf, womit es sich um sogenannte unechte Noven handelt, die nur im Rahmen von <ref-law> zugelassen werden. Die diesbezüglichen Voraussetzungen (vgl. dazu die nicht publ. E. 1.3 des Urteils <ref-ruling>, in SVR 2012 FZ Nr. 3 S. 7 [8C_690/2011]; Urteil 8C_761/2015 vom 8. Januar 2016 E. 4.2) sind im Fall des Beschwerdeführers nicht erfüllt, wie im mit Urteil von heute erledigten Parallelverfahren 8C_78/2016, betreffend seine Ehefrau, im Einzelnen gezeigt wird. Die dortigen Erwägungen gelten auch für den Beschwerdeführer, weshalb an dieser Stelle darauf verwiesen werden kann.
7.3.3. Auch in der Sache selbst ist der Einwand des Beschwerdeführers nicht stichhaltig. Denn im erwähnten Parallelverfahren hat sich ergeben, dass die Ehefrau in seiner Einzelfirma bzw. später in der zusammen mit ihm am 24. Juni 2004 gegründeten H._ GmbH nicht mit überwiegender Wahrscheinlichkeit ein mehr als 20 % betragendes Erwerbspensum geleistet hatte (E. 8). Dass er andere Mitarbeiter angestellt gehabt hätte, macht er letztinstanzlich nicht geltend. Wer sonst die betreffenden Einkünfte erwirtschaftet haben sollte, ist nicht ersichtlich. Der Beschwerdeführer behauptet auch nicht substanziiert, dass er in den strittigen Rückforderungsjahren bloss ein Einkommen erzielt habe, das nicht rentenausschliessend gewesen sei.
7.3.4. Damit kann die Frage offenbleiben, ob die Rentenzusprache ab Beginn fehlerhaft war oder ob sich im weiteren Verlauf eine nach <ref-law> bedeutsame Veränderung in den erwerblichen Verhältnissen ergab. Insofern dringt der Beschwerdeführer auch mit seinen Rügen betreffend Gehörsverletzung in Zusammenhang mit der Frage nach dem Rückkommenstitel nicht durch. Dass er zur sachgerechten Anfechtung des vorinstanzlichen Entscheides nicht in der Lage gewesen sein sollte (vgl. <ref-ruling> E. 9.2 S. 65 mit Hinweisen), ist jedenfalls nicht dargetan.
7.4. Der Beschwerdeführer macht geltend, die IV-Stelle habe mit der Verfügung vom 29. März 2011 die einjährige relative Verwirkungsfrist für die Rückforderung (<ref-law>) verpasst, da sie von dem zur Rückforderung berechtigenden Sachverhalt bereits am 8. Juli 2008 und 7. Oktober 2009 (Besprechungen mit I._), am 4. November 2009 (Besprechung mit der Versicherung J._) oder am 21. Dezember 2009 (Strafanzeige) Kenntnis gehabt habe. Mit diesem pauschalen Vorbringen belegt der Beschwerdeführer nicht, dass die einjährige relative Verwirkungsfrist bereits damals ausgelöst wurde. Denn das Bundesgericht hat schon wiederholt erkannt, es sei nicht bundesrechtswidrig, zuverlässige Kenntnis von der Rechtswidrigkeit des Leistungsbezugs erst nach Eintritt der Rechtskraft der Rentenaufhebung anzunehmen (Urteil 8C_642/2014 vom 23. März 2015 E. 3.2 mit Hinweisen). Weshalb dies im vorliegenden Fall nicht gelten sollte, ist nicht begründet dargetan.
7.5. Der Beschwerdeführer bringt schliesslich vor, seine Invalidenrente sei ab Juli 2010 an die Gemeinde ausbezahlt worden, weshalb er ab diesem Zeitpunkt nicht zu deren Rückerstattung verpflichtet werden könne (vgl. <ref-law>; SVR 2010 IV Nr. 45 S. 141 E. 6.5 [9C_564/2009]; Ueli Kieser, ATSG-Kommentar, 3. Aufl. 2015, N. 34 zu Art. 25). Da diese Tatsache im kantonalen Verfahren nicht behauptet wurde, ist sie als unzulässiges Novum ebenfalls nicht zu hören (<ref-law>).
8.
Der unterliegende Beschwerdeführer trägt die Gerichtskosten (<ref-law>). Die unentgeltliche Rechtspflege kann ihm gewährt werden (<ref-law>). Er hat der Bundesgerichtskasse Ersatz zu leisten, wenn er später dazu in der Lage ist (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt und Rechtsanwalt Dr. Markus Krapf wird als unentgeltlicher Anwalt bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Bundesgerichtskasse genommen.
4.
Dem Rechtsvertreter des Beschwerdeführers wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 26. August 2016
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Jancar