Sachverhalt:
A.
A.a. Der 1958 geborene A._ erlitt am 4. Juli 2004 einen Autounfall, woraufhin ihm die Schweizerische Unfallversicherungsanstalt (Suva) am 27. Juni 2007 eine ganze Invalidenrente zusprach (Erwerbsunfähigkeit 100 %). Bereits am 19. Juli 2005 hatte er sich bei der Invalidenversicherung zum Leistungsbezug angemeldet. Die IV-Stelle des Kantons Aargau (nachfolgend: IV-Stelle) veranlasste verschiedene Abklärungen. Im Rahmen derer schloss der Regionale Ärztliche Dienst (RAD), die Einschätzung der Suva könne übernommen werden. Nach Durchführung des Vorbescheidverfahrens sprach die IV-Stelle A._ rückwirkend ab Juli 2005 eine ganze Rente zu (Verfügung vom 4. Juli 2008; Invaliditätsgrad 100 %). Anlässlich einer 2009 durchgeführten Revision wurden keine Änderungen festgestellt und die Weiterausrichtung der ganzen Rente mitgeteilt.
A.b. Im Rahmen eines im Jahre 2013 eingeleiteten Revisionsverfahrens tätigte die IV-Stelle weitere Abklärungen; namentlich veranlasste sie auf Empfehlung des RAD hin eine polydisziplinäre (allgemeininternistische, psychiatrische, orthopädische, neurologische) Begutachtung durch die Ärztliches Begutachtungsinstitut GmbH (ABI; Expertise vom 9. November 2015). Wegen Verdachts eines ungerechtfertigten Leistungsbezugs führte die IV-Stelle vorerst am 10. und 29. März 2016 eine Beweissicherung vor Ort durch. Anschliessend liess sie A._ im Zeitraum zwischen dem 20. April und dem 11. August 2016 an insgesamt 11 Tagen observieren (Ermittlungsbericht vom 18. August 2016). Gestützt auf die Überwachungsergebnisse sistierte sie die Rente per sofort (Verfügung vom 3. Oktober 2016). Nachdem die Gutachter des ABI am 27. September 2016 zu diesen neuen Erkenntnissen Stellung genommen hatten und nach Durchführung des Vorbescheidverfahrens (Vorbescheid vom 29. November 2016) stellte die IV-Stelle die Invalidenrente mittels prozessualer Revision rückwirkend per 1. Juli 2005 ein (Verfügung vom 7. Februar 2017). Hiegegen erhob A._ Beschwerde an das Versicherungsgericht des Kantons Aargau. Dieses holte bei den Gutachtern des ABI die ergänzende Stellungnahme vom 28. Februar 2018 ein und zog die im Rahmen des gegen A._ geführten Strafverfahrens von der Staatsanwaltschaft veranlasste psychiatrische Expertise des Zentrums für Medizinische Begutachtung (ZMB) vom 27. September 2018 bei. Danach wies das Versicherungsgericht die Beschwerde ab (Entscheid vom 21. November 2018). Diesen Entscheid bestätigte das Bundesgericht mit Urteil 9C_21/2019 vom 10. April 2019.
A.c. Mit Verfügung vom 22. August 2019 forderte die IV-Stelle die für den Zeitraum von Juli 2005 bis Oktober 2016 erbrachten Rentenleistungen in Höhe von insgesamt Fr. 220'404.- zurück.
B.
Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 16. April 2020 ab.
C.
A._ führt Beschwerde in öffentlich rechtlichen Angelegenheiten und beantragt, es seien das vorinstanzliche Urteil sowie die Verfügung der IV-Stelle vom 22. August 2019 aufzuheben und diese anzuweisen, vor dem Entscheid betreffend Rückforderung das rechtskräftige Urteil im gegen den Beschwerdeführer gerichteten Strafverfahren (Bezirksgericht Brugg; Prozess-Nr. ST.2019.65) abzuwarten. Unabhängig von diesem Antrag sei die IV-Stelle anzuweisen, die Rückforderung auf den Zeitraum ab November 2009 zu beschränken.

Erwägungen:
1.
1.1. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>), die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 BGG beruht (<ref-law>).
1.2. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Indes prüft es, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (vgl. <ref-law>), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236).
2.
2.1. Unrechtmässig bezogene Leistungen sind zurückzuerstatten (<ref-law>). Der Rückforderungsanspruch erlischt mit dem Ablauf eines Jahres, nachdem die Versicherungseinrichtung davon Kenntnis erhalten hat, spätestens aber mit dem Ablauf von fünf Jahren nach der Entrichtung der einzelnen Leistung. Wird der Rückerstattungsanspruch aus einer strafbaren Handlung hergeleitet, für welche das Strafrecht eine längere Verjährungsfrist vorsieht, so ist diese Frist massgebend (<ref-law>). Im Fall einer strafbaren Handlung ist auf die Verfolgungsverjährung abzustellen (vgl. <ref-ruling> E. 5.2 S. 79; Urteil 9C_720/2020 vom 5. Februar 2020 E. 1); diese erstreckt sich bei Betrug auf 15 Jahre (Art. 146 i.V.m. <ref-law>; Urteil 9C_484/2019 vom 25. September 2019 E. 1.3).
Bei den Fristen von <ref-law> handelt es sich um Verwirkungsfristen (<ref-ruling> E. 3.2.2 S. 24; <ref-ruling> E. 2.1 S. 525; <ref-ruling> E. 4.1 S. 77), die im Bereich der Invalidenversicherung mit Erlass des Vorbescheids betreffend die Rückforderung gewahrt werden (SVR 2011 IV Nr. 52 S. 155, 8C_699/2010 E. 2).
2.2. Ist die Strafverfolgung aufgenommen und bereits rechtskräftig (mit Urteil oder Einstellungsverfügung) abgeschlossen worden, so ist die über den Rückforderungsanspruch befindende Behörde an diesen Entscheid der Straf (verfolgungs) behörde gebunden. Fehlt es indessen an einem solchen Entscheid, haben die Verwaltung und gegebenenfalls das Sozialversicherungsgericht - sofern das Verfahren nicht bis zum Vorliegen eines strafrechtlichen Entscheids ausgesetzt wird - vorfrageweise selbst darüber zu befinden, ob sich die Rückforderung aus einer strafbaren Handlung herleitet und der Täter dafür strafbar wäre. Dabei gelten die gleichen beweisrechtlichen Anforderungen wie im Strafverfahren, so dass der sonst im Sozialversicherungsrecht geltende Beweisgrad der überwiegenden Wahrscheinlichkeit nicht ausreicht; zudem gilt die Unschuldsvermutung (<ref-ruling> E. 2 S. 86; <ref-ruling> E. 2a S. 40). Unterbleibt eine Strafanzeige, so bestehen rechtsprechungsgemäss erhebliche Zweifel am Vorliegen einer strafbaren Handlung (<ref-ruling> E. 4a S. 259; Urteile 9C_240/2020 vom 11. Dezember 2020 E. 2.2 und 8C_118/2012 vom 11. September 2012 E. 5.5). Auf jeden Fall hat die Behörde, die sich auf die strafrechtliche Verjährungsfrist beruft, Aktenmaterial zu produzieren, welches das strafbare Verhalten hinreichend ausweist. Erforderlich ist, dass eine objektiv strafbare Handlung vorliegt und dass die auf Rückerstattung belangte Person resp. deren Organ die strafbare Handlung begangen hat und die subjektiven Strafbarkeitsvoraussetzungen erfüllt (<ref-ruling> E. 6.1 S. 80; Urteile 9C_240/2020 vom 11. Dezember 2020 E. 2.2 und 8C_580/2018 vom 9. Januar 2019 E. 4.3.3).
3.
Gestützt auf das Urteil 9C_21/2019 vom 10. April 2019 steht fest, dass der Beschwerdeführer zwischen dem 1. Juli 2005 und dem 31. Oktober 2016 zu Unrecht Rentenleistungen der Invalidenversicherung bezogen hat. Unbestritten ist, dass er diese zumindest für die Zeit vom 1. November 2011 bis zum 31. Oktober 2016 zurückzuerstatten hat. Streitig und zu prüfen ist indessen, ob und inwieweit der Rückerstattungsanspruch für den davor liegenden Zeitraum vom 1. Juli 2005 bis zum 31. Oktober 2011 verwirkt ist.
4.
Das kantonale Gericht wies darauf hin, die Strafverfolgung des Beschwerdeführers sei aufgenommen und am 19. August 2019 Anklage erhoben worden. Angesichts der Ungewissheit in zeitlicher Hinsicht bezüglich Vorliegens eines strafrechtlichen Urteils sei das invalidenversicherungsrechtliche Verfahren trotz entsprechendem Antrag des Beschwerdeführers nicht zu sistieren. Folglich prüfte die Vorinstanz vorfrageweise, ob sich jener eines Betrugs nach <ref-law> strafbar gemacht habe. Das kantonale Gericht bejahte sämtliche dazu erforderlichen objektiven (arglistige Täuschung, Irrtum, Verfügung, Schaden) und subjektiven (Bereicherungsabsicht, Vorsatz) Tatbestandselemente. Weil sich der Beschwerdeführer somit des vorsätzlichen Betrugs im Sinne von <ref-law> schuldig gemacht habe, sei für die Frage nach der Verwirkung der Rückforderung gemäss <ref-law> (in Verbindung mit <ref-law>) die absolute Frist von 15 Jahren massgebend. Daran ändere nichts, dass der Vorbescheid vom 29. November 2016 und die Verfügung vom 7. Februar 2017 diesbezüglich lediglich eine allfällige Verlängerung der Verjährungsfrist auf sieben Jahre in Aussicht gestellt hätten, was offensichtlich unzutreffend sei.
5.
5.1. Der Beschwerdeführer rügt, es bestehe kein Grund, dass die sozialversicherungsrechtlichen Behörden vorfrageweise einen eigenen Entscheid über die strafrechtliche Relevanz der zu unrecht bezogenen Leistungen fällten, wenn betreffend eben diese Fragestellung bereits ein Strafverfahren hängig sei. Stattdessen gelte es, sich widersprechende Entscheide zu vermeiden. Damit wendet er sich gegen den im kantonalen Verfahren abgewiesenen Sistierungsantrag. Dass bereits die IV-Stelle den Abschluss des Strafverfahrens hätte abwarten müssen, bevor sie über die Rückforderung verfügt, macht der Beschwerdeführer (und machte er im vorinstanzlichen Verfahren) zu Recht nicht geltend. In Bezug auf den von der Vorinstanz abgewiesenen Antrag um Sistierung lässt der Beschwerdeführer ausser Acht, dass der von ihm angerufene <ref-ruling> keinerlei Vorgaben enthält, wann ein Sozialversicherungsrichter vorfrageweise darüber zu befinden hat, ob sich eine Rückforderung aus strafbarer Handlung herleitet, und wann er das Verfahren bis zum Vorliegen eines strafrechtlichen Urteils auszusetzen hat (vgl. E. 2.2 hievor; Urteil 9C_388/2018 vom 29. Oktober 2018 E. 4.2). Mit der Aussicht auf ein solches mag es je nach Sachlage sinnvoll sein, dass der Sozialversicherungsrichter nur mit einer gewissen Zurückhaltung vorfrageweise entscheidet. Die blosse Gefahr sich widersprechender Entscheide genügt indessen nicht, um von der Unzulässigkeit einer vorfrageweise Überprüfung auszugehen, anderenfalls eine solche generell ausgeschlossen bliebe. Vielmehr hat der Sozialversicherungsrichter zu prüfen, welche Lösung - Sistierung des Verfahrens oder vorfrageweise Entscheid - im konkreten Einzelfall sachgerecht ist. Im hier angefochtenen Entscheid hat die Vorinstanz erwogen, der Sistierungsantrag sei abzuweisen wegen der Ungewissheit, ob in absehbarer Zeit mit einem strafrechtlichen Urteil zu rechnen sei (vgl. dazu auch das Urteil H 147/89 vom 22. April 1991 E. 3b, nicht publ. in: <ref-ruling>, aber in: ZAK 1991 S. 364). Mit diesen Erwägungen setzt sich der Beschwerdeführer nicht ansatzweise auseinander, weshalb sich Weiterungen dazu erübrigen (zur Rüge- und Begründungspflicht der Parteien vgl. E. 1.2 hievor).
5.2. Der Beschwerdeführer macht weiter geltend, ein Freispruch im Strafverfahren, wo die unrechtmässige Bereicherungsabsicht bestritten werde, sei mit Blick auf den Beweisgrundsatz "in dubio pro reo" nicht unrealistisch. Mit der unrechtmässigen Bereicherungsabsicht habe sich die Vorinstanz gar erst nicht auseinandergesetzt. Dieser Einwand zielt ins Leere. So war das Bundesgericht bereits im Urteil 9C_21/2019 vom 10. April 2019 zum Schluss gekommen, die vom Beschwerdeführer gezeigten Beeinträchtigungen und Leistungseinschränkungen beruhten auf einer lege artis diagnostizierten Simulation (zur Simulation: Foerster/Winckler, in: Psychiatrische Begutachtung, 2009, S. 27 ff.; Hardy Landolt, Die Rechtsvorstellung der zumutbaren Willensanstrengung im Sozialversicherungsrecht, in: Schmerz und Arbeitsunfähigkeit, 2003, S. 158 ff.). Eine solche geht definitionsgemäss eindeutig über die blosse unbewusste Tendenz zur Schmerzausweitung und Verdeutlichung hinaus. Mit Blick darauf ist auch nicht näher auf die Behauptung des Beschwerdeführers einzugehen, er sei stets von seiner Arbeitsunfähigkeit überzeugt gewesen. Die Simulation ist vielmehr gekennzeichnet durch externe Motivation (in casu Erreichen einer Rente) sowie Bewusstseinsnähe. Mit anderen Worten steht fest, dass der Beschwerdeführer Versicherungsleistungen durch Simulation bzw. durch bewusstes Vortäuschen eines beeinträchtigten Gesundheitszustands erschlich. Es gereicht der Vorinstanz deshalb nicht zum Vorwurf, dass sie sich nicht weiter mit der unrechtmässigen Bereicherungsabsicht auseinandersetzte und sich stattdessen auf den Hinweis beschränkte, das vom Beschwerdeführer gezeigte Verhalten lasse ohne Weiteres auf eine solche schliessen. Daran ändert auch sein erneuter Verweis auf die bereits im Verfahren 9C_21/2019 berücksichtigte Expertise des ZMB vom 27. September 2018 nichts.
Was die übrigen Tatbestandsmerkmale des <ref-law> anbelangt, bestreitet der Beschwerdeführer deren Vorliegen nicht. Weiterungen dazu erübrigen sich (vgl. E. 1.2 hievor).
5.3. Schliesslich macht der Beschwerdeführer geltend, dass selbst bei Anwendung der strafrechtlichen Verjährungsfristen eine Rückforderung ab Juli 2005 unzulässig sei. So habe die IV-Stelle im Vorbescheid vom 29. November 2016 darauf verzichtet, den Rückforderungsbetrag ziffernmässig festzuhalten, obwohl dies grundsätzlich möglich gewesen sei. Stattdessen habe sie ausdrücklich darauf hingewiesen, die Verjährungsfrist betrage sieben Jahre, sollte sich der Rückerstattungsanspruch aus einer strafbaren Handlung herleiten. Folglich sei die Rückerstattungsforderung unabhängig von der Strafbarkeit auf maximal sieben Jahre vor dem Vorbescheid vom 29. November 2016 zu begrenzen.
Die Umschreibung dessen, was zurückgefordert wird, ist verfügungsbedürftiges Element. Anders als die Einwände des Beschwerdeführers suggerieren, genügt für eine hinreichend präzise Umschreibung einer sozialversicherungsrechtlichen Rückforderung, dass die zurückgeforderten Leistungen zeitlich genau angegeben werden; eine Bezifferung in Franken ist nicht nötig (SVR 2011 IV Nr. 52 S. 155, 8C_699/2010 E. 5.1). Der Vorbescheid vom 19. November 2016 hält ausdrücklich fest, die zu Unrecht bezogene ganze Rente (inklusive allfälliger Zusatz- und Kinderrenten) werde ab dem 1. Juli 2005 zurückgefordert; ob mit Blick darauf einer genügenden Bezifferung der Rückforderung entgegen stünde, dass die Verwaltung auf eine - zumindest in Bezug auf den Tatbestand des Betrugs nach <ref-law> offensichtlich unzutreffende - strafrechtliche Verwirkungsfrist von sieben Jahren hingewiesen hat, kann offen bleiben. So betrachtet das Bundesgericht bei den Verwirkungsfristen von <ref-law> in der Regel die Rechtskraft der Rentenaufhebung als fristauslösendes Moment (vgl. <ref-ruling> E. 4.1 S. 8; Urteile 8C_642/2014 vom 23. März 2015 E. 3.2 und 9C_478/2013 vom 24. Juli 2013 E. 2). Im vorliegenden Fall wurde die Rentenaufhebung mit Urteil 9C_21/2019 vom 10. April 2019 bestätigt. Massgeblich dafür, ob die Rückforderung hinreichend präzise umschrieben ist, ist daher nicht der Vorbescheid vom 19. November 2016, sondern die Verfügung vom 22. August 2019. Diese nennt nicht nur den genauen Rückforderungszeitraum, sondern beziffert den Rückforderungsbetrag konkret auf Fr. 220'404.-. Dass in dieser Verfügung ein Hinweis auf die (vom Amtes wegen zu berücksichtigenden; vgl. 9C_534/2009 vom 4. Februar 2010 E. 3.1 mit Hinweisen) Verwirkungsfristen gemäss <ref-law> fehlt, beanstandet der Beschwerdeführer nicht.
5.4. Zusammenfassend hat das kantonale Gericht zu Recht auf eine Verwirkungsfrist von 15 Jahren abgestellt und die Rückforderung ab Juli 2005 geschützt.
6.
Das Verfahren ist kostenpflichtig. Der unterliegende Beschwerdeführer hat die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau, der Pensionskasse B._, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 29. März 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Der Gerichtsschreiber: Williner