Sachverhalt:
A.
Der 1962 geborene B._ leidet seit dem 5. Lebensjahr an einer Poliomyelitis mit Parese des rechten Beins. Anlässlich eines am 14. Dezember 2001 erlittenen Stolpersturzes mit einer LWS- und Hüftkontusion exazerbierte diese Krankheit akut. Deswegen meldete sich B._ am 21. Januar 2001 bei der IV-Stelle des Kantons Aargau zum Leistungsbezug an.
A.a. Im Behandlungsverlauf diagnostizierte die Klinik X._ im Austrittsbericht vom 13. Mai 2002 u.a. eine gemischte dissoziative Störung im Rahmen einer retraumatischen chronifizierten posttraumatischen Belastungsstörung (PTBS) nach schwerer psychischer Traumatisierung im Herkunftsland (ICD-10: F44.7, F43.1) und sekundär einer leichtgradigen depressiven Episode mit multiplen psychosozialen Belastungsfaktoren (ICD-10: F32.1). Im psychosomatischen Konsilium vom 14. Dezember 2001 bezeichneten die Fachärzte diese Störung als krankheitswertig und behandlungsbedürftig; aus psychiatrischer Sicht sei derzeit keine Arbeitsfähigkeit gegeben. Dr. med. S._, ebenfalls von der Klinik X._, rapportierte der IV-Stelle am 10. Juni 2002 eine Verwertbarkeit der Arbeitsfähigkeit sei aus psychiatrischer Sicht nach wie vor nicht gegeben, sollte aber durch weitere ambulante Behandlung erreichbar sein.
Gestützt auf diese Erkenntnisse sprach die IV-Stelle B._ mit Verfügung vom 4. Juli 2003 wegen langandauernder Krankheit rückwirkend ab 1. Dezember 2002 eine ganze Invalidenrente zu.
A.b. Im Rahmen eines im März 2004 eröffneten Revisionsverfahrens holte die IV-Stelle verschiedene Arztberichte ein. So beauftragte sie die Medizinischen Abklärungsstation MEDAS des Spitals Z._ mit einer polydisziplinären Begutachtung von B._ (Gutachten vom 15. März 2006). Die dabei mitwirkende Fachärztin für Psychiatrie und Psychotherapie stellte die Diagnose einer reaktiven Depression bei körperlicher Behinderung und sozialer Konfliktsituation sowie einer leichten depressiven Episode (ICD-10: F32.00) bei aus psychiatrischer Sicht fehlender Leistungseinschränkung (Fachbericht vom 7. Februar 2006). Anschliessend liess die IV-Stelle bei der beruflichen Abklärungsstelle (BEFAS) die beruflichen Möglichkeiten abklären (Bericht vom 14. Mai 2007), worauf sie mit Verfügung vom 13. August 2008 und Wirkung auf Ende September 2008 die Rentenleistungen einstellte.
Eine dagegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons Aargau mit Entscheid vom 19. November 2009 teilweise gut, hob die Verfügung auf und wies die Sache zur weiteren Abklärung und anschliessenden Neuverfügung an die IV-Stelle zurück. Es führte aus, dem psychiatrischen Teilgutachten der MEDAS vom 7. Februar 2006 mangle es an einer hinreichende Auseinandersetzung mit anderslautenden Diagnosen und Beurteilungen, so insbesondere mit jener im psychosomatischen Konsilium der Klinik X._ vom 14. Dezember 2001; es sei daher eine psychiatrische Neubegutachtung anzuordnen, welche insbesondere Auskunft gebe, ob und in welchem Ausmass der psychische Gesundheitszustand und die daraus resultierende Arbeitsfähigkeit sich seit dem Zeitpunkt der letzten materiellen Beurteilung verändert hätten. Dabei sei auch der neu vom Beschwerdeführer eingereichte Bericht des ihn behandelnden Psychiaters Dr. med. C._, vom 18. September 2008 mit einzubeziehen.
A.c. Gestützt darauf holte die IV-Stelle beim Institut für forensische Psychiatrie und Psychotherapie (IFPP), das Gutachten vom 3. Oktober 2011 ein. Das Institut erkannte ebenfalls auf eine fehlende psychiatrische Diagnose mit Einfluss auf die Arbeitsfähigkeit, worauf B._ einen Bericht des ihn nunmehr behandelnden Psychiaters Dr. med. H._, vom 8. Januar 2012 nachreichte. Am 2. Februar 2012 verfügte die IV-Stelle die Aufhebung der Rentenleistung per 30. September 2008.
B.
Mit Entscheid vom 31. August 2012 wies das Versicherungsgericht des Kantons Aargau die dagegen erhobene Beschwerde ab.
C.
B._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, unter Aufhebung des kantonalen Entscheides und der IV-Verfügung vom 2. Februar 2012 sei die IV-Stelle zu verpflichten, weiterhin eine ganze Rente zu gewähren; eventualiter sei die Sache an die Vorinstanz zur Einholung eines polydisziplinären Gerichtsgutachtens unter Einbezug einer psychiatrischen, neuropsychologischen Abklärung unter Beizug eines Spezialisten für Poliomyelitis Erkrankungen zurückzuweisen. Gleichzeitig lässt er um Gewährung der unentgeltlichen Rechtspflege ersuchen.

Erwägungen:
1.
Streitig und zu prüfen ist, ob die IV-Stelle den Anspruch des Versicherten auf eine Invalidenrente zu Recht aufgehoben hat.
2.
Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es prüft grundsätzlich aber nur die geltend gemachten Rügen. Es ist nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen wurden (<ref-ruling> E. 1.4.1 S. 254). Es kann die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern prüfen, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>).
2.1. Seinem Urteil legt es den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz, auf Rüge hin oder von Amtes wegen, berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht, und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 in Verbindung mit <ref-law>). Eine Sachverhaltsfeststellung ist nicht schon dann offensichtlich unrichtig, wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist (<ref-ruling> E. 3.1 S. 44). Es liegt noch keine offensichtliche Unrichtigkeit vor, nur weil eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erscheint (vgl. <ref-ruling> E. 2.1 S. 9; Urteil 9C_967/2008 vom 5. Januar 2009 E. 5.1).
2.2. Der gestützt auf medizinische Akten gerichtlich festgestellte Gesundheitszustand bzw. die damit einhergehende Arbeitsfähigkeit ist Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.). Die konkrete Beweiswürdigung stellt ebenfalls eine Tatfrage dar (nicht publ. E. 4.1 des Urteils <ref-ruling>, in SVR 2009 IV Nr. 53 S. 164 [9C_204/2009], mit Hinweisen; Urteile 9C_431/2013 vom 12. August 2013 E. 1.2.1 und 8C_886/2011 vom 4. April 2012 E. 1). Rechtsfragen sind dagegen die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Missachtung des Untersuchungsgrundsatzes (Art. 43 Abs. 1, Art. 61 lit. c ATSG) und der Anforderungen an den Beweiswert von Arztberichten (BGE 135 V 495; <ref-ruling> E. 5.1 S. 232). Der Verzicht auf weitere Abklärungen oder im Beschwerdefall auf Rückweisung der Sache an die Verwaltung zu diesem Zwecke (antizipierte Beweiswürdigung; dazu <ref-ruling> E. 3 S. 157; <ref-ruling> E. 4b S. 94) verletzt etwa dann Bundesrecht, wenn der festgestellte Sachverhalt unauflösbare Widersprüche enthält oder wenn eine entscheidwesentliche Tatfrage, wie namentlich Gesundheitszustand und Arbeitsfähigkeit einer versicherten Person, auf unvollständiger Beweisgrundlage beantwortet wird (Urteil 8C_791/2012 vom 6. März 2013 E. 1.1).
3.
Das kantonale Gericht hat die massgeblichen materiell- und beweisrechtlichen Grundlagen gemäss Gesetz und Rechtsprechung zutreffend dargelegt. Dies betrifft namentlich die Bestimmungen und Grundsätze zur Rentenrevision (<ref-law> in Verbindung mit <ref-law>; <ref-ruling> E. 3 S. 132 mit Hinweisen; <ref-ruling> E. 5 S. 110 ff.; <ref-ruling> E. 3b S. 199) sowie zu den Anforderungen an beweiskräftige medizinische Berichte und Gutachten (BGE <ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352 mit Hinweis). Darauf wird verwiesen.
4.
Die Vorinstanz mass dem IFPP-Gutachten vom 3. Oktober 2011 vollen Beweiswert zu. Danach hat sich der (psychische) Gesundheitszustand des Versicherten im massgebenden Vergleichszeitraum zwischen der Renten zusprechenden Verfügung vom 4. Juli 2003 und der angefochtenen Verfügung vom 2. Februar 2012 dahingehend verbessert, dass nunmehr keine psychische Störung mit Krankheitswert mehr vorliege und damit auch keine psychisch bedingte Einschränkung der Arbeitsfähigkeit bestünde. Es erwog, die vom Beschwerdeführer aufgelegte Stellungnahme des behandelnden Psychiaters Dr. med. H._ vom 8. Januar 2012 biete zu keiner anderen Beurteilung Anlass; insbesondere erweise sich eine ergänzende neuropsychologische Abklärung als nicht nötig; die Rentenleistungen seien deshalb zu Recht per 30. September 2008 eingestellt worden.
5.
Der Beschwerdeführer rügt, es sei gar kein Revisionsgrund nach <ref-law> gegeben; eine Neubeurteilung des im Wesentlichen unverändert gebliebenen Gesundheitszustandes rechtfertige keine Revision; die gesundheitlichen Einschränkungen, welche im Jahre 2003 zur Gewährung einer Rente geführt hätten, seien nach wie vor gegeben. Im Weiteren bringt er vor, die Vorinstanz habe mit der Feststellung, es könne auf das IFPP-Gutachten abgestellt werden, den Grundsatz der freien richterlichen Beweiswürdigung verletzt; sie habe es insbesondere unterlassen, darzulegen, weshalb sie ausschliesslich auf dieses Gutachten und nicht (auch) auf die Berichte der behandelnden Ärzte abgestellt habe; darin sei zudem eine Verletzung der Begründungspflicht und damit des rechtlichen Gehörs zu erblicken. Sodann kritisierte er das erwähnte Gutachten in verschiedener Hinsicht als mangelhaft; so sei es erst gar nicht möglich, in einer einmaligen Untersuchung eine sichere Diagnose zu stellen; auch hätten sich die Gutachter nicht mit den abweichenden Arztberichten auseinandergesetzt; überdies sei die gesamte medizinische Abklärung wegen der fehlenden, ursprünglich auch von der Beschwerdegegnerin vorgesehenen neuropsychologischen Untersuchung unvollständig und verletze damit den Untersuchungsgrundsatz gemäss Art. 43 und 44 ATSG. Der Beschwerdeführer verweist dabei darauf, dass das IFPP-Gutachten noch nach altem Standard, das heisst vor <ref-ruling>, mit welchem die Partei- und Mitwirkungsrechte der versicherten Person ausgebaut worden seien, in Auftrag gegeben worden sei. Daraus leitet er ab, dass - wie bei verwaltungsinternen Berichten - bei auch nur geringen Zweifeln an der Schlüssigkeit der gutachterlichen Feststellungen eine neue Begutachtung anzuordnen sei; solche Zweifel seien vorliegend schon wegen der soeben erwähnten fehlenden neuropsychologischen Begutachtung gegeben; es stelle eine unzulässige antizipierte Beweiswürdigung dar, wenn die Vorinstanz ausführe, es sei zu bezweifeln, dass eine neuropsychologische Begutachtung zu verlässlichen Ergebnissen führen würde; schlussendlich sei zu beanstanden, dass sich der angefochtene Entscheid überhaupt nicht zu den ohnehin unzureichend abgeklärten somatischen Beschwerden und deren Auswirkung auf die Arbeitsfähigkeit äussere, was (ebenfalls) eine Verletzung der aus dem Anspruch auf rechtliches Gehör abgeleiteten Begründungspflicht darstelle.
5.1. Was die letzte Rüge anbelangt, ist dem Beschwerdeführer entgegen zu halten, dass sich das kantonale Gericht dazu bereits im Entscheid vom 19. November 2009 E. 4.9.1 f. einlässlich geäussert hat und dabei mit nachvollziehbarer Begründung zum Schluss gelangt ist, der hinreichend geklärte somatische Befund lasse für sich allein gesehen keinen Anspruch auf Weiterausrichtung einer Rente begründen. In der gegen die Verfügung vom 2. Februar 2012 erhobenen Beschwerde brachte der Versicherte nichts substanziell Neues vor, das die bisherige Begründung als unvollständig hätte erscheinen lassen. Eine Verletzung der Begründungspflicht ist dergestalt nicht auszumachen.
Abgesehen davon macht der Versicherte nicht substanziiert geltend, der somatische Zustand habe sich verschlechtert. Eine Besserung des somatischen Zustandes war umgekehrt nicht Anlass oder Grund der von der Beschwerdegegnerin durchgeführten Revision; diese ist vielmehr ausschliesslich mit der Verbesserung des psychischen Zustandes begründet. Da sich überdies für das kantonale Gericht aus den Akten keine Hinweise fanden, wonach sich der somatische Zustand seit der ersten Rentenverfügung verändert hätte, geht auch der Vorwurf fehl, es habe hierzu den Sachverhalt unvollständig oder offensichtlich unrichtig abgeklärt.
5.2. In psychiatrischer Hinsicht erweist sich der Sachverhalt durch das von der Verwaltung eingeholte IFPP-Gutachten als genügend abgeklärt. Dieses erfüllt die an ein Gutachten gestellten Anforderungen. Die Einschätzung, der Beschwerdeführer sei für die angestammte sowie für jede andere Tätigkeit aus psychiatrischer Sicht ohne Einschränkung arbeitsfähig, steht zudem im Einklang mit dem MEDAS-Gutachten vom 15. März 2006, in welchem bei der Diagnose einer leichten depressiven Episode eine Einschränkung der Arbeitsfähigkeit aus psychiatrischer Sicht verneint wird. Auch die BEFAS-Abklärung vom 14. Mai 2007 gibt gewichtige Anhaltspunkte dafür, dass die Leistungsfähigkeit des Beschwerdeführers im Abklärungszeitpunkt aus psychischen Gründen nicht derart eingeschränkt war, wie dies in den Jahren 2002 und 2003 der Fall gewesen war. Es verhält sich also im Widerspruch zu den Ausführungen des Beschwerdeführers nicht so, dass im IFPP-Gutachten eine bisher von sämtlichen Ärzten und weiteren Beteiligten durchgängig angenommene volle Arbeitsunfähigkeit ohne weiteres in eine volle Arbeitsfähigkeit umgedeutet worden wäre; vielmehr wird in den jüngeren Abklärungs- und Arztberichten - mit Ausnahme der Berichte der beiden behandelnden Fachärzte für Psychiatrie und Psychotherapie FMH, Dres. med. C._ und H._ - davon ausgegangen, dass die Arbeitsfähigkeit des Beschwerdeführers aus psychischen Gründen nicht mehr eingeschränkt sei.
5.3. Die an der Art der Durchführung der Begutachtung geübte Kritik schlägt ebenfalls nicht durch. Es ist dem Beschwerdeführer allenfalls insofern zuzustimmen, als es problematisch erscheinen mag, einen Versicherten, der bekanntermassen durch die eingenommenen Medikamente sediert und verlangsamt ist, nur einmalig zu untersuchen. Dabei ist allerdings zu bedenken, dass auch eine zweite oder dritte Untersuchung schwerlich zu einer verbesserten Untersuchungssituation geführt hätte, stände der Beschwerdeführer doch auch dann wiederum unter der Wirkung der Medikamente. Diese wurden nämlich auf Dauer verschrieben und können nicht kurzfristig im Hinblick auf eine Untersuchung abgesetzt werden. Der psychiatrische Gutachter konnte nach eigenem Bekunden in der (einmaligen) Untersuchung die nötigen Befunde erheben; der Beschwerdeführer bringt in diesem Zusammenhang denn auch keine inhaltliche Rüge dergestalt vor, dass für eine psychiatrische Beurteilung wesentliche Tatsachen nicht erhoben worden wären. Das Gutachten ist im Übrigen auch nicht wegen fehlender Auseinandersetzung mit anderen ärztlichen Auffassungen zu beanstanden. Die abweichenden Meinung des Dr. med. C._ ist im Gutachten thematisiert und es wird ausführlich dargestellt, dass und weshalb die von diesem Arzt gestellten Diagnosen nicht zutreffen. Der nach Erstellung des Gutachtens verfasste Bericht des Dr. med. H._ beschränkt sich im Wesentlichen auf eine Wiederholung der von seinem Praxisvorgänger Dr. med. C._ gestellten Diagnosen und eine Kritik an der Art der Begutachtung durch den IFPP Gutachter Dr. med. Y._. Auch dieser Bericht ist nicht geeignet, die Schlussfolgerungen des Gutachtens in Frage zu stellen und begründet keinen Anspruch auf eine weitere Abklärung des Sachverhalts, zumal die Stellungnahmen behandelnder Ärzte aufgrund der auftragsrechtlichen Vertrauensstellung zum Patienten mit Vorbehalt zu würdigen sind (BGE <ref-ruling> E. 3b/cc S. 353).
5.4. In diesem Zusammenhang ist zu vermerken, dass auch nicht nach dem Verfahrensstandard gemäss <ref-ruling> eingeholten Gutachten grundsätzlich Beweiskraft zukommt; damit Beweiserweiterungen gerechtfertigt sind, bedarf es objektiver Anhaltspunkte, dass dem Administrativgutachter bei seiner Expertisierung Fehler unterlaufen sind (Urteile 8C_737/2012 vom 27. Mai 2012 E. 3.3 und 9C_977/2012 vom 16. Mai 2013 E. 3.1). Das trifft hier nicht zu. Kein Fehler der Begutachter ist insbesondere im nachträglichen Verzicht auf eine neuropsychologische Abklärung zu erblicken. Die Beschwerdegegnerin sah ursprünglich eine solche vor und erteilte dem IFPP einen entsprechenden Auftrag. Im Laufe der Begutachtung gelangten die Gutachter aber zur Erkenntnis, dass angesichts der durch die Medikamenteneinnahme bedingten Sedierung eine neuropsychologische Abklärung nicht durchführbar sei und auch kaum sinnvoll sei. Aufgrund der vorliegenden klinischen Befunde kamen sie zum Schluss, dass keine Gründe für eine Einschränkung der kognitiven Funktionen beim Versicherten sprechen würden. In der Folge kam die Beschwerdegegnerin ebenfalls zur Einschätzung, weitere medizinische Abklärungen würden sich erübrigen (Bericht RAD-Arzt Dr. med. G._ vom 27. Oktober 2011). Unter diesen Umständen konnte das kantonale Gericht ohne Verletzung des Willkürverbots in antizipierter Beweiswürdigung auf weitere Beweismassnahmen verzichten.
5.5. Schliesslich vermag auch das zentrale Argument des Beschwerdeführers nicht zu überzeugen, es sei gar keine Besserung des Gesundheitszustandes eingetreten, vielmehr liege nur eine andere Einschätzung eines im Wesentlichen gleichen Sachverhaltes vor. Kann - wie dargelegt - auf das IFPP-Gutachten abgestellt werden, so ergeben sich aus dem Vergleich der Befunde und Diagnosen wie auch der Einschätzung der Arbeitsfähigkeit wesentliche Änderungen zwischen den ärztlichen Berichten, die als Grundlage der ursprünglichen Rentenzusprache dienten (s. dazu vor allem die im Sachverhalt erwähnten Berichte der Klinik X._), und der aktuellen ärztlichen Einschätzung im IFPP-Gutachten, auf welchem die Revisionsverfügung basiert. Es ist einzuräumen, dass die Vorinstanz die Frage der Verbesserung des Gesundheitszustandes nicht ausdrücklich behandelt hat; immerhin belegen die aufgelisteten und kurz vorgestellten Arztberichte und Gutachten eine gesundheitliche Besserung. Indem das kantonale Gericht zudem ausführlich darlegte, weshalb auf das IFPP-Gutachten abgestellt werden kann, hat es implizit auch die eingetretene Verbesserung des Gesundheitszustandes begründet, ergibt sich doch aus der Entwicklung von einer vollen Arbeitsunfähigkeit zu einer vollen Arbeitsfähigkeit eine wesentliche Verbesserung.
6.
Übrige Aspekte der Ermittlung des Invaliditätsgrades und der revisionsweisen Rentenaufhebung werden in der Beschwerde nicht in Frage gestellt. Zu einer näheren Prüfung von Amtes wegen besteht kein Anlass.
7.
Zusammenfassend ist somit festzuhalten, dass die vorinstanzliche Beweiswürdigung weder offensichtlich unrichtig ist noch sonstwie auf einer Rechtsverletzung beruht. Von Willkür in der Sachverhaltsfeststellung (vgl. <ref-ruling> E. 4.1 S. 133; <ref-ruling> E. 3.1 S. 153 mit Hinweisen) kann nicht die Rede sein. Die revisionsweise Rentenaufhebung hält nach dem Gesagten vor Bundesrecht stand.
8.
Dem Ausgang des Verfahrens entsprechend trägt der Beschwerdeführer die Gerichtskosten (<ref-law>). Seinem Gesuch um unentgeltliche Prozessführung und Verbeiständung kann jedoch entsprochen werden (<ref-law>; <ref-ruling> E. 4a S. 202). Es wird ausdrücklich auf <ref-law> hingewiesen, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten hat, wenn sie später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt und Rechtsanwalt Martin Hablützel wird als unentgeltlicher Anwalt bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4.
Dem Rechtsvertreter des Beschwerdeführers wird aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 28. August 2013
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Ursprung
Der Gerichtsschreiber: Grünvogel