Sachverhalt: A. Der 1962 geborene B._ leidet seit dem 5. Lebensjahr an einer Poliomyelitis mit Parese des rechten Beins. Anlässlich eines am 14. Dezember 2001 erlittenen Stolpersturzes mit einer LWS- und Hüftkontusion exazerbierte diese Krankheit akut. Deswegen meldete sich B._ am 21. Januar 2001 bei der IV-Stelle des Kantons Aargau zum Leistungsbezug an. A.a. Im Behandlungsverlauf diagnostizierte die Klinik X._ im Austrittsbericht vom 13. Mai 2002 u.a. eine gemischte dissoziative Störung im Rahmen einer retraumatischen chronifizierten posttraumatischen Belastungsstörung (PTBS) nach schwerer psychischer Traumatisierung im Herkunftsland (ICD-10: F44.7, F43.1) und sekundär einer leichtgradigen depressiven Episode mit multiplen psychosozialen Belastungsfaktoren (ICD-10: F32.1). Im psychosomatischen Konsilium vom 14. Dezember 2001 bezeichneten die Fachärzte diese Störung als krankheitswertig und behandlungsbedürftig; aus psychiatrischer Sicht sei derzeit keine Arbeitsfähigkeit gegeben. Dr. med. S._, ebenfalls von der Klinik X._, rapportierte der IV-Stelle am 10. Juni 2002 eine Verwertbarkeit der Arbeitsfähigkeit sei aus psychiatrischer Sicht nach wie vor nicht gegeben, sollte aber durch weitere ambulante Behandlung erreichbar sein. Gestützt auf diese Erkenntnisse sprach die IV-Stelle B._ mit Verfügung vom 4. Juli 2003 wegen langandauernder Krankheit rückwirkend ab 1. Dezember 2002 eine ganze Invalidenrente zu. A.b. Im Rahmen eines im März 2004 eröffneten Revisionsverfahrens holte die IV-Stelle verschiedene Arztberichte ein. So beauftragte sie die Medizinischen Abklärungsstation MEDAS des Spitals Z._ mit einer polydisziplinären Begutachtung von B._ (Gutachten vom 15. März 2006). Die dabei mitwirkende Fachärztin für Psychiatrie und Psychotherapie stellte die Diagnose einer reaktiven Depression bei körperlicher Behinderung und sozialer Konfliktsituation sowie einer leichten depressiven Episode (ICD-10: F32.00) bei aus psychiatrischer Sicht fehlender Leistungseinschränkung (Fachbericht vom 7. Februar 2006). Anschliessend liess die IV-Stelle bei der beruflichen Abklärungsstelle (BEFAS) die beruflichen Möglichkeiten abklären (Bericht vom 14. Mai 2007), worauf sie mit Verfügung vom 13. August 2008 und Wirkung auf Ende September 2008 die Rentenleistungen einstellte. Eine dagegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons Aargau mit Entscheid vom 19. November 2009 teilweise gut, hob die Verfügung auf und wies die Sache zur weiteren Abklärung und anschliessenden Neuverfügung an die IV-Stelle zurück. Es führte aus, dem psychiatrischen Teilgutachten der MEDAS vom 7. Februar 2006 mangle es an einer hinreichende Auseinandersetzung mit anderslautenden Diagnosen und Beurteilungen, so insbesondere mit jener im psychosomatischen Konsilium der Klinik X._ vom 14. Dezember 2001; es sei daher eine psychiatrische Neubegutachtung anzuordnen, welche insbesondere Auskunft gebe, ob und in welchem Ausmass der psychische Gesundheitszustand und die daraus resultierende Arbeitsfähigkeit sich seit dem Zeitpunkt der letzten materiellen Beurteilung verändert hätten. Dabei sei auch der neu vom Beschwerdeführer eingereichte Bericht des ihn behandelnden Psychiaters Dr. med. C._, vom 18. September 2008 mit einzubeziehen. A.c. Gestützt darauf holte die IV-Stelle beim Institut für forensische Psychiatrie und Psychotherapie (IFPP), das Gutachten vom 3. Oktober 2011 ein. Das Institut erkannte ebenfalls auf eine fehlende psychiatrische Diagnose mit Einfluss auf die Arbeitsfähigkeit, worauf B._ einen Bericht des ihn nunmehr behandelnden Psychiaters Dr. med. H._, vom 8. Januar 2012 nachreichte. Am 2. Februar 2012 verfügte die IV-Stelle die Aufhebung der Rentenleistung per 30. September 2008. B. Mit Entscheid vom 31. August 2012 wies das Versicherungsgericht des Kantons Aargau die dagegen erhobene Beschwerde ab. C. B._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, unter Aufhebung des kantonalen Entscheides und der IV-Verfügung vom 2. Februar 2012 sei die IV-Stelle zu verpflichten, weiterhin eine ganze Rente zu gewähren; eventualiter sei die Sache an die Vorinstanz zur Einholung eines polydisziplinären Gerichtsgutachtens unter Einbezug einer psychiatrischen, neuropsychologischen Abklärung unter Beizug eines Spezialisten für Poliomyelitis Erkrankungen zurückzuweisen. Gleichzeitig lässt er um Gewährung der unentgeltlichen Rechtspflege ersuchen.