Sachverhalt:
A. A.a Der 1964 geborene, als Zimmermann-Hilfsarbeiter tätige S._ meldete sich am 19. November 1996 wegen eines unfallbedingten Rückenleidens bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärungen in medizinischer und erwerblicher Hinsicht sprach die IV-Stelle des Kantons Aargau dem Versicherten mit Verfügung vom 4. Dezember 1997 ausgehend von einem Invaliditätsgrad von 100 % rückwirkend ab 1. Dezember 1996 eine ganze Invalidenrente zu. Die in den Jahren 1998 und 2002 durchgeführten Revisionen ergaben keine rentenbeeinflussende Änderung (Mitteilungen vom 22. Januar 1999 und vom 11. Januar 2002).
A.b Im Jahre 2005 erfolgte eine erneute revisionsweise Überprüfung des Rentenanspruchs. Nachdem sich im Zuge der Abklärung des Rentenanspruchs der Ehefrau im Haushalts-Abklärungsbericht Anhaltspunkte für eine Verbesserung des Gesundheitszustandes des Versicherten ergeben hatten, wurde eine Begutachtung inklusive Evaluation des funktionellen Leistungsvermögens (ELF) in der Klinik X._ durchgeführt (Gutachten vom 4. Februar 2008). Gestützt darauf hob die IV-Stelle nach Durchführung des Vorbescheidverfahrens mit Verfügung vom 12. Juni 2008 die Rente auf das Ende des der Zustellung der Verfügung folgenden Monats auf. Die vom Versicherten dagegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons Aargau mit Entscheid vom 24. September 2009 teilweise gut, hob die Verfügung auf und wies die Sache, nach Bejahung des Vorliegens von Revisionsgründen, zu weiteren Abklärungen und zur anschliessenden Neuverfügung an die IV-Stelle zurück. Diese holte verschiedene Verlaufsberichte ein und veranlasste in der Folge eine bidisziplinäre Abklärung durch Dr. med. Dipl. Psych. W._, Facharzt für Psychiatrie und Psychotherapie und Dr. med. J._, FMH Innere Medizin spez. Rheumatologie (Bericht vom 25. Juni 2011). Mit Verfügung vom 27. Januar 2012 bestätigte die IV-Stelle nach Durchführung des Vorbescheidverfahrens die Einstellung der Rente.
B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 12. Juli 2012 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt der Versicherte beantragen, in Aufhebung des kantonalen Gerichtsentscheides sei ihm weiterhin und auch für die Zeit ab 1. August 2008 eine ganze Invalidenrente auszurichten. Eventuell sei die Sache zur weiteren Sachverhaltsabklärung an die Vorinstanz zurückzuweisen. Zudem wird um Gewährung der unentgeltlichen Rechtspflege ersucht.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
1.2 Die Feststellung des Gesundheitsschadens, d.h. die Befunderhebung, die gestützt darauf gestellte Diagnose, die ärztliche Stellungnahme zum noch vorhandenen Leistungsvermögen oder (bei psychischen Gesundheitsschäden) zur Verfügbarkeit von Ressourcen der versicherten Person sowie die aufgrund der medizinischen Untersuchungen gerichtlich konstatierte Arbeits(un)fähigkeit betreffen Tatfragen (<ref-ruling> E. 3.2 S. 398), welche sich nach der dargelegten Regelung der Kognition einer Überprüfung durch das Bundesgericht weitgehend entziehen. Analoges gilt für die Frage, ob sich eine Arbeits(un)fähigkeit in einem bestimmten Zeitraum in einem revisionsrechtlich relevanten Sinne (<ref-law>, <ref-law>) verändert hat (Urteil 8C_361/2012 vom 11. September 2012 E. 2.2.2). Soweit hingegen die Beurteilung der Zumutbarkeit von Arbeitsleistungen auf die allgemeine Lebenserfahrung gestützt wird, geht es um eine Rechtsfrage (<ref-ruling> E. 3.2 S. 398). Rechtsfragen sind auch die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Missachtung des Untersuchungsgrundsatzes (Art. 43 Abs. 1, Art. 61 lit. c ATSG) und der Anforderungen an den Beweiswert von Arztberichten (<ref-ruling> E. 5.1 S. 232). Die konkrete Beweiswürdigung wiederum ist Tatfrage (nicht publ. E. 4.1 des Urteils <ref-ruling>, in SVR 2009 IV Nr. 53 S. 164 [9C_204/2009]; Urteil 8C_304/2011 vom 6. Juli 2011 E. 1).
2. Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt, was von der betreffenden Partei näher darzulegen ist (<ref-law>; <ref-ruling>; nicht publ. E. 2.3 des Urteils <ref-ruling>, in SVR 2009 BVG Nr. 30 S. 109 [9C_920/2008]; SVR 2010 UV Nr. 17 S. 63 E. 4 [8C_239/2008]). Das Einbringen von Tatsachen oder Beweismitteln, die sich erst nach dem angefochtenen Entscheid ereignet haben oder entstanden sind (sog. echte Noven), ist vor Bundesgericht unzulässig (Urteil 8C_407/2012 vom 18. Juli 2012 E. 2.1 mit Hinweis).
Der Beschwerdeführer legt letztinstanzlich neue Berichte auf. Dabei handelt es sich um einen Bericht vom 4. Juli 2012 betreffend ein Abklärungsgespräch, einen Austrittsbericht des Spitals Y._ vom 12. Juli 2012 sowie einen Bericht des radiologischen Zentrums Z._ vom 22. Juni 2012. Er macht hierfür aber keine nach <ref-law> relevanten Gründe geltend, weshalb diese neu eingereichten Arztberichte unbeachtlich sind.
3. Streitig und zu prüfen ist, ob das kantonale Gericht zu Recht eine revisionsweise Aufhebung der Invalidenrente per 1. August 2008 bejaht hat.
Die für die Beurteilung der Frage massgebenden Rechtsgrundlagen, insbesondere die bei der Rentenrevision anwendbaren Grundsätze (<ref-law>; <ref-ruling> E. 5.4 S. 114 mit Hinweis) sind im angefochtenen Entscheid zutreffend dargelegt worden. Darauf wird verwiesen.
4. Als revisionsbegründender Faktor steht eine Verbesserung des Gesundheitszustandes und damit einhergehend der Erwerbsfähigkeit zur Diskussion. Unbestritten ist dabei, dass die Verfügung vom 4. Dezember 1997 den zeitlichen Referenzpunkt für die materielle Prüfung veränderter Verhältnisse bildet.
4.1 Nach Würdigung der medizinischen Aktenlage gelangte die Vorinstanz zum Schluss, dass sich der Gesundheitszustand des Beschwerdeführers seit Erlass der Verfügung vom 4. Dezember 1997 in erheblicher Weise verbessert hat und der Beschwerdeführer über eine Restarbeitsfähigkeit in einer adaptierten Tätigkeit von 80 % verfügt. Sie erwog, dass an der im Entscheid vom 24. September 2009 festgestellten gesundheitlichen Verbesserung festgehalten werden könne und bestätigte das Vorliegen eines Revisionsgrundes. Die Vorinstanz stützte sich dabei auf das Gutachten der Dres. med. W._ und J._ vom 25. Juni 2011 - bestehend aus einer interdisziplinären Fragenbeantwortung, einem rheumatologischen Teilgutachten und einer psychiatrischen Beurteilung -, dem sie vollen Beweiswert zuerkannte. Dies ist nicht zu beanstanden, erfüllt es doch die rechtsprechungsgemässen Kriterien an eine beweiskräftige medizinische Entscheidgrundlage (<ref-ruling> E. 3 S. 352 ff. mit Hinweisen). Daraus ergibt sich, dass die rheumatologische Beurteilung der Gesamteinschätzung entspricht. In psychischer Hinsicht konnte keine Diagnose mit Auswirkung auf die Arbeitsfähigkeit festgestellt werden. Ohne Auswirkung auf die Arbeitsfähigkeit wurde eine chronische Schmerzstörung mit somatischen und psychischen Faktoren (F45.41 nach ICD-10) festgehalten. Aus psychiatrischer Sicht wurde aufgrund der chronischen Schmerzstörung ohne Komorbidität von einer 100%igen Arbeitsfähigkeit in einer den Fähigkeiten und körperlichen Möglichkeiten entsprechenden Arbeitstätigkeit ausgegangen. Gemäss rheumatologischem Teilgutachten ist in Bezug auf das lumbale Achsenskelett eine 100%ige Arbeitsfähigkeit in einer behinderungsangepassten Tätigkeit, d.h. ohne repetitive gebückte Tätigkeiten, ohne repetitives Gewichtsheben von über 15 bis 20 kg sowie der Möglichkeit, zwischen sitzender und stehender Position zu wechseln, gegeben. Hinsichtlich der linken Hand ist die Leistungsfähigkeit auch für fein- und mittelgrobmanuelle Arbeiten aufgrund der Arthrodese im Bereich von 10 % eingeschränkt. In Bezug auf das linke Schultergelenk resultiert eine 100%ige Arbeitsfähigkeit für alle Arbeiten, mit Ausnahme von Überkopfarbeiten, repetitives Gewichte Heben über 15 bis 20 kg resp. monotone Tätigkeiten in Abduktionsstellung. Was das linke Kniegelenk betrifft, besteht eine Belastbarkeitsverminderung insofern, als längere Gehstrecken, Treppengehen und Arbeitspositionen in kniender Stellung zu vermeiden sind und idealerweise ein Wechsel zwischen sitzender und stehender Position erfolgen sollte. Gemäss Gutachten ist für eine Tätigkeit, welche all diese Schonkriterien berücksichtigt, eine höchstens 80%ige Arbeitsfähigkeit ausgewiesen, ideal verteilt auf einen ganzen Tag mit zwischenzeitlich längeren Pausen.
4.2 Die Einwendungen des Beschwerdeführers sind nicht geeignet, die für das Bundesgericht grundsätzlich verbindlichen tatsächlichen Feststellungen des kantonalen Gerichts zum Gesundheitszustand, zu deren Veränderung und zur Arbeitsfähigkeit als offensichtlich unrichtig erscheinen zu lassen.
4.2.1 Insbesondere kann entgegen dem Beschwerdeführer nicht gesagt werden, dass es sich lediglich um eine unterschiedliche Beurteilung eines im Wesentlichen unverändert gebliebenen Gesundheitszustandes handle und mithin kein Revisionsgrund gegeben sei. Vielmehr wurden, wie die Vorinstanz richtig erwog, im Rahmen der rheumatologischen Untersuchung keine myofascialen Triggerpunkte und keine Hartspannbildung mehr gefunden sowie auch keine Muskelverkürzungen mehr erwähnt. Die bereits im Entscheid vom 24. September 2009 festgestellten relevanten gesundheitlichen Verbesserungen im Vergleich zum Jahre 1997 in Bezug auf die Wirbelsäule wurden bestätigt. Selbst unter Berücksichtigung der erhobenen Verschlechterung hinsichtlich des linken Schultergelenks und des linken Kniegelenks mit entsprechenden Belastungseinschränkungen, kann entsprechend dem überzeugenden Gutachten insgesamt von einer erheblichen Verbesserung des Gesundheitszustandes mit entsprechender Leistungsfähigkeit ausgegangen werden. Die Vorinstanz hat das Vorliegen eines Revisionsgrundes zu Recht bestätigt. Selbst wenn sich, wie geltend gemacht wird, die medizinischen Diagnosen in Bezug auf den Rücken nicht verändert bzw. verbessert haben, kann daraus nichts abgeleitet werden. Identisch gebliebene Diagnosen schliessen eine revisionsrechtlich erhebliche Steigerung des tatsächlichen Leistungsvermögens (Arbeitsfähigkeit) grundsätzlich nicht aus. Dies gilt namentlich dann, wenn der Schweregrad eines Leidens sich verringert hat oder es der versicherten Person gelungen ist, sich besser an das Leiden anzupassen (Urteil 8C_761/2010 vom 1. März 2010 E. 2.2).
4.2.2 Wenn der Beschwerdeführer mit Verweis auf das Schreiben des psychiatrischen Dienstes Q._ vom 16. Februar 2012 geltend macht, dass zwischenzeitlich - nach dem Gutachten vom 25. Juni 2011 - noch psychische Einschränkungen der Arbeitsfähigkeit (mittelschwere Depression) hinzugetreten seien, vermag dies nichts zu ändern. Zwar kann der Bericht des psychiatrischen Dienstes Q._ entgegen der Vorinstanz nicht ausser Acht gelassen werden, weil er nach Erlass der angefochtenen Verfügung vom 27. Januar 2012 verfasst wurde, äussert er sich doch auch zum Gesundheitszustand in der Zeit davor. Eine Veränderung der psychischen Situation im Vergleich zum beweiskräftigen Gutachten vom 25. Juni 2011 lässt sich daraus allerdings nicht entnehmen. Da von weiteren medizinischen Abklärungen keine neuen Erkenntnisse zu erwarten sind, hat die Vorinstanz zu Recht darauf verzichtet (antizipierte Beweiswürdigung: <ref-ruling> E. 5.3 S. 236).
4.2.2 Wenn der Beschwerdeführer mit Verweis auf das Schreiben des psychiatrischen Dienstes Q._ vom 16. Februar 2012 geltend macht, dass zwischenzeitlich - nach dem Gutachten vom 25. Juni 2011 - noch psychische Einschränkungen der Arbeitsfähigkeit (mittelschwere Depression) hinzugetreten seien, vermag dies nichts zu ändern. Zwar kann der Bericht des psychiatrischen Dienstes Q._ entgegen der Vorinstanz nicht ausser Acht gelassen werden, weil er nach Erlass der angefochtenen Verfügung vom 27. Januar 2012 verfasst wurde, äussert er sich doch auch zum Gesundheitszustand in der Zeit davor. Eine Veränderung der psychischen Situation im Vergleich zum beweiskräftigen Gutachten vom 25. Juni 2011 lässt sich daraus allerdings nicht entnehmen. Da von weiteren medizinischen Abklärungen keine neuen Erkenntnisse zu erwarten sind, hat die Vorinstanz zu Recht darauf verzichtet (antizipierte Beweiswürdigung: <ref-ruling> E. 5.3 S. 236).
4.3 4.3.1 Weiter bestreitet der Beschwerdeführer die wirtschaftliche Verwertbarkeit der aufgrund des Gutachtens festgelegten Restarbeitsfähigkeit von 80 % für eine bestadaptierte leichte bis höchstens mittelschwere, wechselbelastende Tätigkeit, ideal verteilt auf einen ganzen Tag mit zwischenzeitlich längeren Pausen. Auf dem ausgeglichenen Arbeitsmarkt gäbe es keine Stelle, welche er mit seinen gesundheitlichen Einschränkungen noch bekleiden könne. Die von der Vorinstanz angeführten Kontroll- oder Sortierarbeiten oder leichten Verpackungsarbeiten entsprächen diesen Vorgaben nicht, bestehe doch für fein- bis mittelgrobmanuelle Tätigkeiten eine (weitere) Leistungseinschränkung.
4.3.2 Es stellt sich demnach die (Rechts-)Frage, ob der in Betracht zu ziehende ausgeglichene Arbeitsmarkt (<ref-ruling> E. 4b S. 276; vgl. auch <ref-ruling> E. 3.2 S. 346 f.) dem Beschwerdeführer trotz seiner gesundheitlichen Einschränkungen noch zumutbare Einsatzmöglichkeiten bietet, sodass bei der Bestimmung des Invalideneinkommens auf die tabellarisch festgehaltenen Lohnangaben gemäss der vom Bundesamt für Statistik herausgegebenen Lohnstrukturerhebung (LSE) abgestellt werden kann.
4.3.3 Es trifft zu, dass von einer versicherten Person rechtsprechungsgemäss nur Vorkehren verlangt werden können, die unter Berücksichtigung der gesamten objektiven und subjektiven Gegebenheiten des Einzelfalles zumutbar sind. Mit der Vorinstanz sind jedoch an die Konkretisierung von Arbeitsgelegenheiten und Verdienstaussichten rechtsprechungsgemäss keine übermässigen Anforderungen zu stellen (SVR 2008 IV Nr. 62 S. 203 E. 5.1 mit Hinweis [9C_830/2007]). Für die Invaliditätsbemessung ist nicht massgeblich, ob eine invalide Person unter den konkreten Arbeitsmarktverhältnissen vermittelt werden kann, sondern einzig, ob sie die ihr verbliebene Arbeitskraft noch wirtschaftlich nutzen könnte, wenn die verfügbaren Arbeitsplätze dem Angebot an Arbeitskräften entsprechen würden (AHI 1998 S. 287 E. 3b S. 290 f., I 198/97). Zu berücksichtigen ist zudem, dass der ausgeglichene Arbeitsmarkt (<ref-law>) auch sogenannte Nischenarbeitsplätze umfasst, also Stellen- und Arbeitsangebote, bei welchen Behinderte mit einem sozialen Entgegenkommen von Seiten des Arbeitgebers rechnen können (Urteil 9C_95/2007 vom 29. August 2007 E. 4.3 mit Hinweisen). Von einer Arbeitsgelegenheit kann nicht mehr gesprochen werden, wenn die zumutbare Tätigkeit nurmehr in so eingeschränkter Form möglich ist, dass sie der ausgeglichene Arbeitsmarkt praktisch nicht kennt oder sie nur unter nicht realistischem Entgegenkommen eines durchschnittlichen Arbeitgebers möglich wäre und das Finden einer entsprechenden Stelle daher von vornherein als ausgeschlossen erscheint (z.B. Urteil 9C_82/2009 vom 9. Oktober 2009 E. 5.5 mit Hinweisen).
4.3.4 Zwar sind die ausgewiesenen Einschränkungen des Beschwerdeführers (vgl. E. 4.1 hievor) nicht unerheblich, doch kann nicht gesagt werden, dass letztere Voraussetzungen hier erfüllt sind. Mit der Vorinstanz gibt es in Industrie und Gewerbe einfache Hilfsarbeiten, die auch diesen Anforderungen zu genügen vermögen, zu denken ist dabei an Kontroll- und Überwachungsarbeiten. Inwiefern Kontrollarbeiten nicht zumutbar sind, ist nicht ersichtlich und wird vom Beschwerdeführer nicht begründet. Ob auch die von der Vorinstanz erwähnten Sortier- oder leichten Verpackungsarbeiten mit Blick auf die Einschränkungen bei fein- bis mittelgrobmanuellen Tätigkeiten als Verweisungstätigkeiten in Frage kommen, kann mithin offenbleiben. Wenn das kantonale Gericht die Verwertbarkeit der verbleibenden Arbeitsfähigkeit auf dem hypothetischen ausgeglichenen Arbeitsmarkt bejahte, erweist sich dies mithin nicht als bundesrechtswidrig.
5. 5.1 Hinsichtlich des für die Invaliditätsbemessung massgebenden Einkommensvergleichs rügt der Beschwerdeführer ausschliesslich die Höhe des durch die Vorinstanz mit Bezug auf das Invalideneinkommen gewährten Abzugs vom Tabellenlohn LSE (TA1, Total, Männer, Anspruchsniveau 4) von 15 % und verlangt den maximalen Abzug von 25 %.
5.2 Ob und in welcher Höhe statistische Tabellenlöhne herabzusetzen sind, hängt nach den zutreffenden Erwägungen im angefochtenen Entscheid von sämtlichen persönlichen und beruflichen Umständen des Einzelfalles ab, die nach pflichtgemässem Ermessen gesamthaft zu schätzen sind. Relevante Merkmale sind leidensbedingte Einschränkung, Alter, Dienstjahre, Nationalität/Aufenthaltskategorie und Beschäftigungsgrad (<ref-ruling> E. 5b/bb S. 80). Ob ein (behinderungsbedingt oder anderweitig begründeter) Abzug vom hypothetischen Invalideneinkommen vorzunehmen sei, ist eine Rechtsfrage. Demgegenüber stellt die Höhe des Abzuges eine typische Ermessensfrage dar, deren Beantwortung letztinstanzlicher Korrektur nur dort zugänglich ist, wo das kantonale Gericht das Ermessen rechtsfehlerhaft ausgeübt hat, d.h. bei Ermessensüberschreitung, -missbrauch oder -unterschreitung (vgl. <ref-ruling> E. 5.1 S. 72 f. mit Hinweis auf <ref-ruling> E. 3.3 S. 399).
5.3 Eine solche qualifiziert falsche Ermessensausübung liegt hier nicht vor, zumal auch nach Darstellung in der Beschwerde als abzugsrelevante Faktoren einzig die leidensbedingten Anforderungen, welchen ein zumutbarer Arbeitsplatz hinsichtlich Tätigkeit und Pensum zu genügen hat, in Betracht kommen.
6. Bei diesem Ausgang des Verfahrens hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>). Seinem Gesuch um unentgeltliche Rechtspflege kann jedoch entsprochen werden (<ref-law>; <ref-ruling> E. 4a S. 202). Es wird indessen ausdrücklich auf <ref-law> hingewiesen, wonach er der Gerichtskasse Ersatz zu leisten hat, wenn er später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Rechtsanwältin Barbara Lind wird als unentgeltliche Vertreterin des Beschwerdeführers bestellt, und es wird ihr aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet
5. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8. Mai 2013
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Die Gerichtsschreiberin: Weber Peter