Sachverhalt:
A. Der 1957 geborene T._ arbeitete seit 1999 als Dachdecker bei der Firma P._. Er meldete sich am 22. Oktober 2008 wegen Schmerzen im Kreuz mit Ausstrahlung ins rechte Bein sowie Schmerzen im Nacken-Armbereich rechts bei der Invalidenversicherung zum Rentenbezug an. Die IV-Stelle des Kantons Aargau klärte die persönliche, medizinische und erwerbliche Situation ab. Nach einer gescheiterten Integrationsmassnahme legte sie die Unterlagen dem Regionalen Ärztlichen Dienst (RAD) zur Stellungnahme vor und holte ein Gutachten des Zentrums S._ vom 4. März 2010 ein. Nach Konsultation des RAD und Durchführung des Vorbescheidverfahrens verneinte die IV-Stelle mit Verfügung vom 28. September 2010 ausgehend von einem Invaliditätsgrad von 13 % den Anspruch auf eine Invalidenrente.
B. Die dagegen erhobene Beschwerde, mit welcher T._ die Zusprechung einer Rente, eventualiter die Rückweisung der Sache an die IV-Stelle zur Berechnung der Rente beantragen liess, wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 8. Juni 2011 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt T._ beantragen, es sei ihm unter Aufhebung des angefochtenen Entscheids eine Invalidenrente zuzusprechen, eventualiter sei die Sache zu weiteren Abklärungen an die Vorinstanz zurückzuweisen. Gleichzeitig ersucht er um Gewährung der unentgeltlichen Rechtspflege.
Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Es wendet das Recht von Amtes wegen an (<ref-law>) und ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden (<ref-ruling> E. 1.3 S. 67 f., 134 V 250 E. 1.2 S. 252, je mit Hinweisen). Unter Berücksichtigung der Begründungspflicht (Art. 42 Abs. 1 und 2 BGG) prüft es indessen nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind, und ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr aufgegriffen werden (<ref-ruling> E. 2 S. 315, 65 E. 1.3 S. 67 f., je mit Hinweisen).
1.2 Die Feststellung des Gesundheitsschadens, d.h. die Befunderhebung, die gestützt darauf gestellte Diagnose, die ärztliche Stellungnahme zu dem noch vorhandenen Leistungsvermögen oder (bei psychischen Gesundheitsschäden) zur Verfügbarkeit von Ressourcen der versicherten Person sowie die aufgrund der medizinischen Untersuchungen gerichtlich festgestellte Arbeits(un)fähigkeit betreffen Tatfragen (<ref-ruling> E. 3.2 S. 398), welche sich nach der dargelegten Regelung der Kognition einer Überprüfung durch das Bundesgericht weitgehend entziehen.
2. Das kantonale Gericht hat die massgeblichen Rechtsgrundlagen, unter Berücksichtigung der intertemporalrechtlichen Fragen, die sich infolge der am 1. Januar 2008 im Rahmen der 5. IV-Revision erfolgten Rechtsänderungen stellen (vgl. Urteil 8C_829/2008 vom 23. Dezember 2008 E. 2.1 mit Hinweisen), zutreffend dargelegt. Es betrifft dies insbesondere die gesetzlichen Bestimmungen und die von der Rechtsprechung entwickelten Grundsätze zu den Voraussetzungen und zum Umfang des Rentenanspruchs (Art. 28 Abs. 1 und 2 IVG), zu den Begriffen der Erwerbsunfähigkeit (<ref-law>) und der Invalidität (<ref-law> in Verbindung mit <ref-law>), insbesondere auch bei Beeinträchtigungen der psychischen Gesundheit (<ref-ruling>; <ref-ruling>, 396, je mit Hinweisen), sowie zum Beweiswert von Arztberichten und medizinischen Gutachten (<ref-ruling> E. 4.3 S. 468 ff.; <ref-ruling> E. 3 S. 352 ff.). Darauf wird verwiesen.
3. Nach einlässlicher und sorgfältiger Würdigung der medizinischen Aktenlage ist die Vorinstanz zum Schluss gelangt, dass das von der IV-Stelle eingeholte Gutachten des Zentrums S._ vom 4. März 2010 den Anforderungen der Rechtsprechung genüge und weder die vorgängigen Arztberichte noch die Einwände des Beschwerdeführers daran Zweifel zu erwecken vermöchten, sodass darauf abzustellen und gestützt darauf von einer 100%igen Arbeitsunfähigkeit in der bisherigen Tätigkeit sowie von einer vollumfänglichen Arbeitsfähigkeit in einer angemessenen Verweisungstätigkeit auszugehen sei.
Der Beschwerdeführer macht demgegenüber im Wesentlichen geltend, dem Gutachten des Zentrums S._ müsse bezüglich der Festlegung der Arbeitsunfähigkeit in einer Verweisungstätigkeit der Beweiswert abgesprochen werden, weshalb darauf nicht abgestellt werden könne.
4. Gutachten externer Spezialärzte, welche von Versicherungsträgern im Verfahren nach <ref-law> eingeholt wurden und den Anforderungen der Rechtsprechung entsprechen, darf das Gericht vollen Beweiswert zuerkennen, solange nicht konkrete Indizien gegen die Zuverlässigkeit der Expertise sprechen (<ref-ruling> E. 1.3.4 S. 227; <ref-ruling> E. 4.4 S. 470; <ref-ruling> E. 3b/bb S. 353).
Entscheidwesentlich ist, ob unter Berücksichtigung der eingeschränkten Kognition des Bundesgerichts und mit Blick auf die erhobenen Rügen eine diesbezügliche offensichtliche Unrichtigkeit der vorinstanzlichen Sachverhaltsfeststellung oder eine Rechtsverletzung auszumachen ist. Ansonsten ist das Bundesgericht daran gebunden und ist mit dem kantonalen Gericht davon auszugehen, dass das im Rahmen des Verwaltungsverfahrens eingeholte Gutachten der versicherungsexternen Spezialärzte zuverlässig und schlüssig ist und daher darauf abzustellen ist.
5. 5.1 Beim Gutachten des Zentrums S._ vom 4. März 2010 handelt es sich um ein polydisziplinäres Gutachten, an welchem die Fachärzte Dr. med. N._ (Psychiatrie), Dr. med. F._ (Neurologie) und Dr. med. B._ (Orthopädie) beteiligt waren. Es stützt sich auf die medizinischen Vorakten sowie auf die eigene Befunderhebung der beteiligten Fachärzte. Die Anforderungen, welche ein fachärztliches Gutachten nach der Rechtsprechung hinsichtlich Vollständigkeit, Nachvollziehbarkeit und Schlüssigkeit sowie Unabhängigkeit zu erfüllen hat, sind gegeben. Das kantonale Gericht hat sich auch mit den andern medizinischen Berichten auseinandergesetzt und aufgezeigt, dass die gestellten Diagnosen im Wesentlichen übereinstimmen und lediglich der medizinische Sachverhalt anders beurteilt werde. Es hat einlässlich dargelegt, weshalb auf diese abweichenden Beurteilungen nicht abgestellt werden kann. Diesen Erwägungen kann vollumfänglich beigepflichtet werden.
5.2 Was die Einschätzung der Arbeitsfähigkeit anbelangt, vermag es der Beschwerdeführer nicht, Gründe zu nennen, welche geeignet wären, die im Rahmen der gesetzlichen Überprüfungsbefugnis des Bundesgerichts grundsätzlich verbindliche Feststellung der Vorinstanz, wonach in einer angepassten Erwerbstätigkeit volle Arbeitsfähigkeit vorliege, als offensichtlich unrichtig erscheinen zu lassen. Dr. med. W._, Klinik Z._, auf welchen sich der Beschwerdeführer diesbezüglich beruft, hat in seinen Berichten vom 8. Februar und 30. März 2007 denn auch selber ausgeführt, aus rheumatologischer Sicht sehe er medizinisch-theoretisch keine Einschränkung der Arbeitsfähigkeit. Er habe bis Ende März 2007 ein Zeugnis für eine 100%ige Arbeitsunfähigkeit ausgestellt, damit sich der Beschwerdeführer entsprechend auf die Therapien konzentrieren konnte, befürworte jedoch einen zügigen Wiedereinstieg in den bisherigen Arbeitsprozess ab 2. April 2007, wobei mit einem Alltagspensum von 50 % für etwa zwei Wochen begonnen werden könne mit Steigerung auf ein 100 %-Pensum. Dabei stützte er sich auf eine Ganzkörperskelettszintigraphie vom 2. März 2007, welche ein normales Bild ohne Hinweise auf malignitätssuspekte Läsionen ergeben hatte. Dr. med. G._, Schmerzzentrum O._, dessen Nichterwähnung im vorinstanzlichen Entscheid der Beschwerdeführer in diesem Zusammenhang kritisiert, hielt den Beschwerdeführer im Abschlussbericht vom 6. September 2007 aus medizinischer Sicht für leichte bis mittelschwere Arbeiten durchaus für arbeitsfähig. Soweit sich der Beschwerdeführer sodann wiederum auf die ihm durch Dr. med. I._ mehrfach attestierte 100%ige Arbeitsunfähigkeit und auch auf die durch Dr. med. E._, Facharzt FMH für Neurochirurgie, Klinik P._, attestierte Arbeitsunfähigkeit beruft, ist mit der Vorinstanz auf die Erfahrungstatsache hinzuweisen, dass behandelnde Ärzte mitunter im Hinblick auf ihre auftragsrechtliche Vertrauensstellung im Zweifelsfall eher zu Gunsten ihrer Patienten aussagen (BGE <ref-ruling> E. 3a/cc S. 353 mit weiteren Hinweisen). Wohl können die einen längeren Zeitraum abdeckende und umfassende Betreuung durch behandelnde Ärzte oft wertvolle Erkenntnisse hervorbringen, doch übersieht der Beschwerdeführer bei seiner Kritik, dass es die unterschiedliche Natur von Behandlungsauftrag des therapeutisch tätigen (Fach-)Arztes einerseits und Begutachtungsauftrag des amtlich bestellten fachmedizinischen Experten anderseits (<ref-ruling> E. 4 S. 175) nicht zulässt, ein Administrativ- oder Gerichtsgutachten stets in Frage zu stellen und zum Anlass weiterer Abklärungen zu nehmen, wenn die behandelnden Ärzte zu anderslautenden Einschätzungen gelangen. Vorbehalten bleiben Fälle, in denen sich eine abweichende Beurteilung aufdrängt, weil die behandelnden Ärzte wichtige - und nicht rein subjektiver ärztlicher Interpretation entspringende - Aspekte benennen, die im Rahmen der Begutachtung unerkannt oder ungewürdigt geblieben sind (vgl. Urteil 8C_278/2011 vom 26. Juli 2011 E. 5.3). Dies ist vorliegend nicht der Fall. Das Gutachten des Zentrums S._ vom 4. März 2010 ist in Kenntnis sowohl der erwähnten Berichte wie auch des Belastbarkeitstrainings verfasst worden; eine vertiefte Auseinandersetzung mit jedem einzelnen Bericht ist nicht erforderlich, wenn sich insgesamt ein vollständig und schlüssig ermitteltes Bild des Gesundheitszustandes ergibt.
5.3 Zusammenfassend vermögen die beschwerdeweise erhobenen Einwände eine offensichtliche Unrichtigkeit der vorinstanzlichen Sachverhaltsfeststellung beziehungsweise eine diesbezügliche Rechtsverletzung nicht zu begründen. Damit ist mit dem kantonalen Gericht von einer 100%igen Arbeitsfähigkeit in einer angemessenen Verweisungstätigkeit auszugehen.
6. Der vorinstanzlich vorgenommene Einkommensvergleich wird im Übrigen, das heisst abgesehen von der geltend gemachten Arbeitsunfähigkeit und den damit verbundenen erwerblichen Auswirkungen, nicht beanstandet und gibt keinen Anlass zu Weiterungen. Mit Verwaltung und Vorinstanz ist somit der Anspruch auf eine Invalidenrente zu verneinen.
7. Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (<ref-law>). Dem Gesuch um unentgeltliche Rechtspflege (im Sinne der vorläufigen Befreiung von den Gerichtskosten und der unentgeltlichen Verbeiständung) kann entsprochen werden, da die Bedürftigkeit ausgewiesen ist, die Beschwerde nicht als aussichtslos zu bezeichnen und die Vertretung durch einen Rechtsanwalt geboten war (Art. 64 Abs. 1 und 2 BGG). Es wird indessen ausdrücklich auf <ref-law> aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Rechtsanwalt Dr. Konrad Bünzli, Lenzburg, wird als unentgeltlicher Anwalt des Beschwerdeführers bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2'000.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 14. Februar 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Kopp Käch