Sachverhalt:
A. Der 1966 geborene S._ meldete sich am 30. November 2002 unter Hinweis auf Bandscheibenprobleme bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärungen in erwerblicher und medizinischer Hinsicht verneinte die IV-Stelle des Kantons Aargau bei einem Invaliditätsgrad von 2 % einen Rentenanspruch (Verfügung vom 5. März 2004). Sie lehnte zudem den Anspruch auf berufliche Massnahmen verfügungsweise am 8. März 2004 ab. Mit Einspracheentscheid vom 21. April 2004 hielt die IV-Stelle am fehlenden Anspruch auf Rentenleistungen fest, was das Versicherungsgericht des Kantons Aargau mit Entscheid vom 17. August 2004 bestätigte. Nachdem die IV-Stelle auf ein Gesuch um Rente und Umschulung mit Verfügung vom 16. Dezember 2005 nicht eingetreten war, liess S._ am 9. Juli 2007 erneut ein Rentenbegehren einreichen. Gestützt auf ein polydisziplinäres Gutachten des Instituts X._ vom 21. April 2009 verneinte die IV Stelle abermals einen Anspruch auf Rente (Verfügung vom 23. Februar 2010). Die hiegegen geführte Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 21. September 2010 ab. Das Bundesgericht hiess die dagegen erhobene Beschwerde in dem Sinne gut, dass es die Sache an die Vorinstanz zur Durchführung einer mündlichen öffentlichen Verhandlung und anschliessender Neubeurteilung zurückwies (Urteil 8C_950/2010 vom 28. Januar 2011).
B. Mit Entscheid vom 27. April 2011 wies das Versicherungsgericht des Kantons Aargau die Beschwerde nach Durchführung einer öffentlichen Verhandlung erneut ab.
C. S._ lässt hiegegen Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, unter Aufhebung des vorinstanzlichen Entscheids seien ihm die gesetzlichen Leistungen (einschliesslich berufliche Massnahmen) nach Massgabe eines Invaliditätsgrads von mindestens 50 % zuzüglich eines Verzugszinses von 5 % zuzusprechen. Eventualiter seien weitere Abklärungen vorzunehmen. Zudem wird die Befragung des Versicherten beantragt und um unentgeltliche Rechtspflege ersucht. Ferner sei die IV-Stelle zu verpflichten, die Honorarkosten für das Gutachten des Dr. med. R._, Rheumatologie FMH, vom 18. Dezember 2006 in der Höhe von Fr. 3000.- zu übernehmen.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, enthält sich die Vorinstanz einer ausdrücklichen Antragstellung und das Bundesamt für Sozialversicherungen hat auf eine Vernehmlassung verzichtet.
Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Es wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Immerhin prüft es, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen wurden (BGE 133 II 249 E. 1.4.1 S. 254).
2. Die Rechtsgrundlagen für die Beurteilung der Streitsache wurden im angefochtenen Entscheid korrekt wiedergegeben. Darauf wird verwiesen.
Zutreffend festgehalten wurde insbesondere, dass, sofern eine Rente wegen eines fehlenden oder zu geringen Invaliditätsgrades verweigert wurde, eine neue Anmeldung nach Art. 87 Abs. 3 und 4 IVV nur geprüft wird, wenn die versicherte Person glaubhaft macht, dass sich der Grad der Invalidität in einer für den Anspruch erheblichen Weise geändert hat. Tritt die Verwaltung auf die Neuanmeldung ein, hat sie die Sache materiell abzuklären und sich zu vergewissern, ob die glaubhaft gemachte Veränderung des Invaliditätsgrades auch tatsächlich eingetreten ist. Nach der Rechtsprechung zum bis Ende 2002 in Kraft gestandenen Art. 41 IVG, heute Art. 17 Abs. 1 ATSG, hat sie in analoger Weise wie bei einem Revisionsfall vorzugehen. Stellt sie fest, dass der Invaliditätsgrad seit Erlass der früheren rechtskräftigen Verfügung keine Änderung erfahren hat, weist sie das neue Gesuch ab. Andernfalls hat sie zunächst zu prüfen, ob die festgestellte Veränderung genügt, um nunmehr eine anspruchsbegründende Invalidität zu bejahen, und hernach zu beschliessen. Im Beschwerdefall obliegt die gleiche materielle Prüfungspflicht auch dem Gericht (BGE 117 V 198 E. 3a S. 198 mit Hinweis; siehe zudem BGE 133 V 108 und 130 V 71). Daran haben weder die Einführung des ATSG noch die 4. und 5. IV-Revision etwas geändert (BGE 130 V 345 E. 3.5 S. 349 ff.). Zeitliche Vergleichsbasis für die Beurteilung einer anspruchserheblichen Änderung des Invaliditätsgrades bildet die letzte rechtskräftige Verfügung, welche auf einer materiellen Prüfung des Rentenanspruchs mit rechtskonformer Sachverhaltsabklärung, Beweiswürdigung und Invaliditätsbemessung beruht (BGE 133 V 108; vgl. auch BGE 130 V 71 E. 3.2.3 S. 75 ff.).
Anzufügen ist, dass die Frage, ob sich eine Arbeits(un)fähigkeit in einem bestimmten Zeitraum in einem rentenrevisionsrechtlich relevanten Sinne (Art. 17 ATSG; Art. 87 IVV) verändert hat, eine Tatfrage darstellt (Urteil I 692/06 vom 19. Dezember 2006 E. 3.1) und einer letztinstanzlichen Berichtigung oder Ergänzung somit nur im gesetzlichen Rahmen von Art. 105 Abs. 2 BGG zugänglich ist (siehe E. 1 hievor). Frei überprüfbar ist dagegen, ob das kantonale Gericht bei der Sachverhaltsermittlung vom korrekten Beweismass - hier der überwiegenden Wahrscheinlichkeit - ausgegangen ist (Urteil 9C_149/2009 vom 14. Juli 2009 E. 3.2.3 mit Hinweisen, in: SVR 2009 IV Nr. 57 S. 177). Hat jedoch die Vorinstanz einen Sachverhalt gestützt auf eine willkürfreie Würdigung von Beweisen und konkreten Umständen und in Anwendung des zutreffenden Beweismasses als erstellt erachtet, ist das Bundesgericht an das Beweisergebnis grundsätzlich gebunden (vgl. BGE 122 III 219 E. 3 S. 220 ff., insb. E. 3b in fine S. 223; Urteil 9C_149/2009 vom 14. Juli 2009 E. 3.2.3, in: SVR 2009 IV Nr. 57 S. 177).
3. Streitig ist, ob das kantonale Gericht unter Prüfung des Rentenanspruchs zu Recht davon ausgegangen ist, der Beschwerdeführer sei in der Lage, ein rentenausschliessendes Einkommen zu erzielen. Nicht einzutreten ist auf das Begehren um Zusprechung beruflicher Massnahmen, da der Anspruch hierauf nicht Gegenstand der strittigen Verfügung der IV-Stelle war, und folglich auch nicht des Beschwerdeverfahrens.
3.1 Die mit Einspracheentscheid am 21. April 2004 ergangene Rentenverweigerung basierte im Wesentlichen auf einem Austrittsbericht der Rehaklinik Y._ vom 27. November 2002. Danach bestand ein lumbospondylogenes linksbetontes Schmerzsyndrom bei lumbaler Diskushernie L5/S1 mediolateral links, welche Diagnose von den behandelnden Ärzten Dr. med. E._, FMH Allgemeine Medizin, und Dr. med. H._, FMH Rheumatologie, Medizinisches Zentrum W._, bestätigt wurde, wobei beide nicht von einer radikulären Ausfallsymptomatik ausgingen (Bericht des Dr. med. H._ vom 8. Mai 2003 und Bericht des Dr. med. E._ vom 9. Februar 2003). In psychischer Hinsicht gelangte Dr. med. P._ am 5. November 2003 zur Ansicht, dass ein chronifiziertes Schmerzsyndrom im Rahmen einer somatoformen Schmerzstörung mit Symptomausweitung (ICD 10: F45.4) sowie Probleme in der Beziehung zur Ehepartnerin (ICD 10: Z63.0) bestünden. Verwaltung und Vorinstanz zogen hieraus den Schluss, der Versicherte sei in leidensadaptierten, leichten Tätigkeiten vollständig arbeitsfähig.
3.2 In Würdigung des am 28. April 2009 erstellten Gutachtens des Instituts X._ (einschl. ergänzender Stellungnahme vom 22. Oktober 2009) und der übrigen medizinischen Akten, wie namentlich des als Parteigutachten bezeichneten Berichts des Dr. med. R._ (vom 18. Dezember 2006) und des Berichts des Dr. med. C._, FMH für Psychiatrie und Psychotherapie, vom 6. September 2009, erwog die Vorinstanz, dass es auch weiterhin an einem somatischen Substrat fehle, welches mit den Schmerzklagen und der subjektiven Überzeugung vollständiger Arbeitsunfähigkeit übereinstimme. Im Gutachtenszeitpunkt seien lediglich Schmerzsyndrome diagnostiziert worden. Mit Blick auf die somatischen Diagnosen stufte das kantonale Gericht das Gutachten des Instituts X._ als voll beweiskräftig und ausschlaggebend ein und erwog - gestützt auf die Ergebnisse der Experten, die ein chronisches lumbales und zervikales Schmerzsyndrom mit pseudoradikulären Schmerzausstrahlungen in das rechte Bein diagnostiziert hätten - habe sich der Gesundheitszustand des Versicherten nicht verändert. Hinsichtlich der psychischen Leiden sei durch den begutachtenden Psychiater Dr. med. G._ sodann schlüssig und nachvollziehbar dargelegt worden, weshalb keine psychische Erkrankung mit Auswirkung auf die Arbeitsfähigkeit bestünde, sondern einzig eine Schmerzverarbeitungsstörung (ICD-10: F54) ohne Auswirkung auf die Arbeitsfähigkeit vorliege. An einer Schmerzverarbeitungsstörung mit Symptomausweitung habe der Versicherte bereits im Zeitpunkt der ursprünglichen Verfügung vom 5. November 2003 gelitten, weshalb auch im psychiatrischen Bereich von einem im Wesentlich gleich gebliebenen Gesundheitszustand auszugehen sei. Der Beschwerdeführer sei weiterhin in einer leidensangepassten Erwerbstätigkeit zu 100 % arbeitsfähig. In erwerblicher Hinsicht sei bei einem Invaliditätsgrad von 12 % der Anspruch auf eine Invalidenrente zu verneinen.
3.3 Der Beschwerdeführer sieht zunächst darin, dass die Vorinstanz im Rahmen der am 27. April 2011 durchgeführten öffentlichen Verhandlung nach Art. 6 Ziff. 1 EMRK (mit Parteivortrag des Rechtsvertreters des Versicherten) in antizipierter Beweiswürdigung auf eine Parteibefragung verzichtet hat, eine Verletzung der EMRK. Dies trifft nicht zu. Das kantonale Gericht hat die mit Urteil 8C_950/2010 vom 28. Januar 2011 angeordnete öffentliche Verhandlung durchgeführt. Der Anspruch auf öffentliche Verhandlung nach Art. 6 Ziff. 1 EMRK umfasst nicht die öffentliche Beweisabnahme (vgl. BGE 122 V 47 E. 3a S. 55). Indem die Vorinstanz dem Rechtsvertreter des Versicherten die Gelegenheit eingeräumt hat, ein Plädoyer zu halten, wurde seinem Anspruch Genüge getan (vgl. Urteil 8C_504/2010 vom 2. Februar 2011 E. 1.2 und 2.2). Angesichts des Ergebnisses des von der Verwaltung durchgeführten Beweisverfahrens bestand kein Anlass zu einer Parteibefragung vor dem Versicherungsgericht, von welcher, wie das Gericht zutreffend festhielt (Protokoll vom 27. April 2011) keine neuen Erkenntnisse erwartet werden konnten. Dementsprechend ist auch letztinstanzlich von einer Parteibefragung abzusehen, da nicht ersichtlich ist und auch in der Beschwerde nicht überzeugend begründet wird, weshalb von einem Parteiverhör im letztinstanzlichen Verfahren (Art. 55 BGG in Verbindung mit Art. 62-65 BZP, vgl. Seiler/ von Werdt/Güngerich, Bundesgerichtsgesetz [BGG], Bern 2007, N. 6 und 11 zu Art. 55 BGG) ein solcher Erkenntnisgewinn erwartet werden könnte.
3.4 In der Beschwerde wird weiter geltend gemacht, das kantonale Gericht habe den Anspruch des Versicherten auf rechtliches Gehör verletzt, indem es seinem Beweisantrag um Einreichung der Teilgutachten ohne genügende Begründung nicht nachgekommen sei.
3.4.1 Dass das kantonale Gericht im Rahmen freier Beweiswürdigung (Art. 61 lit. c ATSG) der im Gutachten des Instituts X._ vom 27. Oktober 2008 in Berücksichtigung der relevanten Vorakten und der geklagten Beschwerden und aufgrund eines multidisziplinären, spezialärztlichen Konsensus' attestierten Arbeitsfähigkeit von 100 % beweismässig ausschlaggebendes Gewicht beigemessen hat, ist - mit Blick auf die vorinstanzlich vollständige und inhaltlich korrekte Darlegung der medizinischen Aktenlage sowie deren sorgfältige und objektive Prüfung (vgl. BGE 132 V 393 E. 4.1 S. 400) - weder offensichtlich unrichtig noch willkürlich oder sonst wie bundesrechtswidrig. Das vorinstanzliche Beweisergebnis beruht insbesondere auf einer dem Anspruch auf rechtliches Gehör (Art. 29 Abs. 2 BV) genügenden Auseinandersetzung mit den Einwänden der Versicherten. Die gegen die Beweistauglichkeit des Gutachtens des Instituts X._ vorgebrachten Argumente hat das kantonale Gericht bereits zutreffend entkräftet, worauf verwiesen wird. Eine Gehörsverletzung ist auch nicht darin zu sehen, dass er keine Einsicht in die Teilgutachten der Dres. med. G._, B._ und T._ hat nehmen können. Die drei Teilexpertisen wurden in das Gesamtgutachten vom 21. April 2009 integriert. Dass bei der Wiedergabe Fehler unterlaufen wären, wird nicht geltend gemacht. Dies wäre auch unwahrscheinlich, weil nicht davon ausgegangen werden kann, dass diesfalls die das Gesamtgutachten unterzeichnenden drei Teilgutachter unterschriftlich ihr Einverständnis mit der Expertise erklärt hätten. Ebenso wenig lässt sich aus den allein überprüfbaren Angaben im Gutachten selber objektiv betrachtet auf den Anschein der Voreingenommenheit, wie in der Beschwerde moniert wird, schliessen. Das Gutachten ist, namentlich auch die Angaben des Dr. med. G._, sachlich und neutral abgefasst.
3.4.2 Der Eventualantrag auf weitere Abklärung ist unbegründet. Aus den vorstehenden Erwägungen geht hervor, dass die Vorinstanz den massgeblichen Sachverhalt in rechtskonformer Weise umfassend abgeklärt hat. Somit haben Verwaltung und Vorinstanz in tatsächlicher Hinsicht rechtsfehlerfrei auf das Gutachten des Instituts X._ abgestellt, wonach dem Versicherten trotz gesundheitlicher Beeinträchtigungen die uneingeschränkte Ausübung einer körperlich leichten bis gelegentlich mittelschweren Arbeit zumutbar ist. Der letztinstanzlich aufgelegte Bericht (vom 16. August 2011) über das bei der Stiftung N._ vom 14. Februar bis 14. August 2011 ausgeführte Arbeitstraining ändert an diesem Ergebnis nichts. Abgesehen davon, dass es sich dabei um ein unzulässiges neues Beweismittel handelt (Art. 99 Abs. 1 BGG), beschlägt dieser Bericht nicht den relevanten Zeitraum (BGE 121 V 366 E. 1b mit Hinweis; vgl. auch BGE 129 V 4 E. 1.2, 169 E. 1, 356 E. 1, je mit Hinweisen), wie bereits die Vorinstanz mit Blick auf den Zwischenbericht der Stiftung N._ vom 18. April 2011 ausführte.
4. Streitig und zu prüfen ist weiter das der Invaliditätsbemessung als Vergleichsgrösse zu Grunde zu legende Einkommen, das sich ohne Gesundheitsschaden - hypothetisch - realisieren liesse (Valideneinkommen). Der Beschwerdeführer wendet ein, die Vorinstanz habe zu Unrecht sein von März 1999 bis Februar 2003 als Drucksachenverträger im Nebenverdienst erzieltes Einkommen bei der Company D._ nicht bei der Bestimmung des Valideneinkommens berücksichtigt. Des Weiteren sei der vorinstanzlich vorgenommene leidensbedingte Abzug von 10 % ungenügend.
4.1 Die Invalidenversicherung gewährt nach der gesetzgeberischen Konzeption grundsätzlich nur Versicherungsschutz im Rahmen eines normalen Einsatzpensums von 100 % (ZAK 1988 S. 476; Urteil I 213/96 vom 9. Dezember 1996 E. 2, Urteil I 78/98 vom 10. September 1998 E. 2b, Urteil I 469/99 vom 21. November 2000 E. 4b, Urteil I 637/03 vom 16. Juni 2004 E. 3.2). Schon deswegen ist ein Nebeneinkommen nur dann als Validenlohn zu berücksichtigen, falls ein solches bereits im Gesundheitsfall erzielt wurde und weiterhin erzielt worden wäre, wenn die versicherte Person keine gesundheitliche Beeinträchtigung erlitten hätte (Urteil 9C_45/2008 vom 3. Juli 2008 E. 4.2; vgl. auch SVR 2011 IV Nr. 55 S. 163 E. 4.5.2). Die nicht offensichtlich unrichtige Feststellung der Vorinstanz, es sei bei der lediglich während rund vier Jahren ausgeübten Tätigkeit als Drucksachenverträger nicht davon auszugehen, dass er diese Nebentätigkeit im Gesundheitsfall über längere Zeit ausgeübt hätte, ist für das Bundesgericht verbindlich, zumal auch nicht vorgebracht wird, er wäre diesem Nebenerwerb ohne gesundheitliche Leiden weiterhin nachgegangen. Es hat damit bei der vorinstanzlichen Festsetzung des Validenlohnes, ausgehend vom bei der Kessler Bauunternehmung, Zürich, im Jahre 2003 erzielen Jahresverdienst sein Bewenden (BGE 132 V 393 E. 3.3 S. 399). Überdies hat das kantonale Gericht zutreffend dargelegt, dass selbst bei Berücksichtigung des Nebenverdienstes kein rentenbegründender Invaliditätsgrad resultieren würde.
4.2 Wie die Vorinstanz festgehalten hat, ist mit einem Abzug von 10 % vom Invalideneinkommen den Umständen des vorliegenden Falles genügend Rechnung getragen. Die Merkmale, die nach der Rechtsprechung (BGE 126 V 75 E. 5b/aa-cc S. 79 f.) gegebenenfalls einen Abzug von dem als Invalideneinkommen herangezogenen Tabellenlohn zu begründen vermöchten, sind mit Ausnahme der leidensbedingten Einschränkung des Versicherten nicht erfüllt. Die in der Beschwerde erwähnten Umstände (17-jährige Betriebszugehörigkeit, reduzierte Flexibilität) können nicht zusätzlich zu einem höheren leidensbedingten Abzug führen. Der diesbezügliche Verweis auf das Urteil U 436/04 vom 21. April 2005 ist unbehelflich, weil der Sachverhalt mit dem vorliegenden weder hinsichtlich des Alters, der Dauer der Betriebsangehörigkeit, noch hinsichtlich der leidensbedingten Einschränkungen bei leidensadaptierten Tätigkeiten vergleichbar ist. Der von der Vorinstanz durchgeführte Einkommensvergleich, der einen Invaliditätsgrad von 12 % ergeben hat, lässt sich, soweit einer letztinstanzlichen Überprüfung zugänglich (vgl. dazu BGE 132 V 393 E. 3.3 S. 399), demnach nicht beanstanden.
5. Da keine pflichtwidrig unterlassene Abklärung durch die Verwaltung Anlass für die Einholung des medizinischen Berichts des Dr. med. R._ vom 18. Dezember 2006 bot und dieser auch keine entscheidrelevanten neuen Erkenntnisse brachte, hat das kantonale Gericht zu Recht die Voraussetzungen für die Übernahme des entsprechenden Honorars durch die IV-Stelle verneint (vgl. Art. 45 Abs. 1, Art. 61 lit. g ATSG; RKUV 2005 Nr. U 547 S. 221, U 85/04, E. 2.1 mit Hinweisen; zur Kostentragung bei letztinstanzlich aufgelegten Privatgutachten: BGE 115 V 62; RKUV 2000 Nr. U 362 S. 41, E. 3b; Urteil U 107/05 vom 13. Oktober 2005, E. 4). Der vorinstanzliche Entscheid ist auch in diesem Punkt rechtens.
6. Das Verfahren ist kostenpflichtig (Art. 65 BGG). Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (Art. 65 Abs. 4 lit. a in Verbindung mit Art. 66 Abs. 1 BGG). Die unentgeltliche Rechtspflege (im Sinne der Befreiung von den Gerichtskosten; Art. 64 Abs. 1 BGG) und Verbeiständung (Art. 64 Abs. 2 BGG) kann gewährt werden, weil die Bedürftigkeit aktenkundig ist, die Beschwerde nicht als aussichtslos zu bezeichnen ist und die Vertretung durch einen Rechtsanwalt oder eine Rechtsanwältin geboten war. Es wird indessen ausdrücklich auf Art. 64 Abs. 4 BGG aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Rechtsanwalt Rémy Wyssmann, Oensingen, wird als unentgeltlicher Anwalt des Beschwerdeführers bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2800.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 7. Oktober 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Polla